Claude 2.1 vs Claude 2：基准对比

详细对比 Claude 2.1 与 Claude 2 的基准表现、定价、上下文窗口与合规性。

发布: · 更新:

核心规格对比

规格 Claude 2.1Claude 2
厂商anthropicanthropic
版本2.12
发布日期2023-11-212023-07-11
上下文窗口200000 tokens100000 tokens
输入模态texttext
输出模态texttext
许可ProprietaryProprietary
SOC2✓✓
HIPAA✗✗
GDPR✓✓
ISO 27001✗✗

基准测试结果

基准 Claude 2.1Claude 2 胜出
ARC84.880.4Claude 2.1
BBH63.860.2Claude 2.1
GPQA26.431.4Claude 2
GSM8K45.732.5Claude 2.1
HUMANEVAL28.131.7Claude 2
IFEVAL5555平局
MATH15.521.9Claude 2
MMLU60.966.3Claude 2
MUSR37.735.2Claude 2.1
WINOGRANDE67.466.4Claude 2.1

定价对比

项目 (每百万Token) Claude 2.1Claude 2
输入$11$11
输出$32$32
缓存读$0$0
缓存写$0$0

Claude 2.1 对比 Claude 2

模型概述

Claude 2.1 与 Claude 2 均为 AI 模型市场的重要选项。本页对比两者在基准、定价与合规性上的差异。

核心规格对比

厂商 发布日期 上下文窗口 许可证
Anthropic / Anthropic 2023-11-21 / 2023-07-11 200K / 100K Proprietary / Proprietary

基准测试表现

基准 Claude 2.1 Claude 2 胜出
ARC 84.8 80.4 A
BBH (BIG-Bench Hard) 63.8 60.2 A
GPQA 26.4 31.4 B
GSM8K (Grade School Math 8K) 45.7 32.5 A
HumanEval 28.1 31.7 B
IFEval 55.0 55.0 Tie
MATH 15.5 21.9 B
MMLU (Massive Multitask Language Understanding) 60.9 66.3 B
MUSR 37.7 35.2 A
WinoGrande 67.4 66.4 A

定价对比

输入 输出 缓存读取 缓存写入
— / — — / — — / — — / —

每百万 token — A / B

优势 & 劣势

Claude 2.1

  • ✅ 上下文窗口 200K，支持长文本。
  • ⚠️ HumanEval 28.1，代码能力较弱。
  • ⚠️ 闭源专有模型，不支持自托管。

Claude 2

  • ✅ 上下文窗口 100K，支持长文本。
  • ⚠️ HumanEval 31.7，代码能力较弱。
  • ⚠️ 闭源专有模型，不支持自托管。

编辑点评

Claude 2.1 与 Claude 2 各有侧重。建议根据具体场景（代码、长文本、视觉等）选择，参考上方基准与定价表。

常见问题

哪个模型在代码任务上更优？

参考 HumanEval 基准得分表，得分更高者更适合代码任务。

哪个模型价格更低？

参考上方的定价对比表，输入/输出价格更低者更具成本优势。

上下文窗口哪个更长？

参考核心规格对比表，上下文窗口更大的模型适合长文档处理。

参考文献

编辑点评

See Editor's Take section.