Grok-2：完整基准性能指南

xai 2 2024-08-13 Proprietary

深入分析 xAI Grok-2 在 MMLU、HumanEval、GSM8K、MATH、BBH 等基准上的表现，包含定价与实时信息考量。

Key Specifications

Vendorxai
Version2
Release Date2024-08-13
Context Window131072 tokens
Input Modalitiestext, image
Output Modalitiestext
LicenseProprietary
Documentationhttps://docs.x.ai/

Benchmark Performance

BenchmarkScoreUnitEvaluated AtNotesSource
MMLU87.5%2024-08-135-shotview
HUMANEVAL88.4pass@12024-08-13—view
GSM8K93.2%2024-08-130-shot CoTview
MATH76.8%2024-08-130-shot CoTview
BBH84%2024-08-133-shot CoTview

Pricing

TierPriceCurrency
Input$2 / MtokUSD
Output$10 / MtokUSD
Cache Read$0 / MtokUSD
Cache Write$0 / MtokUSD

Source: https://x.ai/api · as of 2024-08-13

Compliance

  • Data Residency: US
  • SOC2: ✗
  • HIPAA: ✗
  • GDPR: ✗
  • ISO 27001: ✗

Grok-2

模型概述

Grok-2 是 xAI 于 2024 年 8 月 13 日发布的旗舰模型。模型最大亮点是与 X（原 Twitter）平台的紧密集成，可对实时事件与热门话题保持感知——这是其他旗舰模型无法匹配的能力。Grok-2 接受文本与图像输入，支持 131K 上下文窗口，在学术基准上与 GPT-4o、Claude 3.5 Sonnet 同台竞争。MMLU 得分 87.5，接近 GPT-4o（88.7）与 Claude 3.5 Sonnet（88.7）。模型可通过 X 平台的 Grok 聊天机器人（Premium 订阅用户）与 xAI API 调用。Grok-2 还以相对宽松的内容策略著称，xAI 将其作为面向希望减少拒绝率用户的特点进行宣传。

核心规格

属性数值
厂商xAI
版本2
发布日期2024-08-13
上下文窗口131,072 tokens
输入模态文本、图像
输出模态文本
许可证专有
文档地址https://docs.x.ai/

基准测试表现

基准得分单位备注
MMLU87.5%5-shot
HumanEval88.4pass@1—
GSM8K93.2%0-shot CoT
MATH76.8%0-shot CoT
BBH84.0%3-shot CoT

定价

档位价格（每百万 token）
输入$2.00
输出$10.00
缓存读取$0.00
缓存写入$0.00

定价来源：https://x.ai/api （截至 2024-08-13）。

优势

  • 通过 X 平台集成具备实时感知能力，旗舰中独有。
  • 基准表现强劲，多数指标与 GPT-4o 竞争力相当。
  • 支持文本与图像多模态输入。
  • 内容策略相对宽松，拒绝率较低。

劣势

  • 闭源专有模型，不支持自托管，企业合规认证有限。
  • 不支持音频模态（不同于 GPT-4o）。
  • 与 X 生态绑定较紧，部分企业采购方存在顾虑。
  • 相较 OpenAI、Anthropic 等成熟厂商，市场经验尚浅。

适用场景

  • 实时新闻与事件感知聊天机器人。
  • 社交媒体内容生成与趋势分析。
  • 时效性敏感的面向客户应用。
  • 文本与图像结合的视觉问答。

参考文献