o1 Preview vs DeepSeek V3：基准对比

详细对比 o1 Preview 与 DeepSeek V3 的基准表现、定价、上下文窗口与合规性。

发布: · 更新:

核心规格对比

规格o1 PreviewDeepSeek V3
厂商openaideepseek
版本o1-previewv3
发布日期2024-09-122024-12-26
上下文窗口128000 tokens64000 tokens
输入模态texttext
输出模态texttext
许可ProprietaryDeepSeek License
SOC2✓✗
HIPAA✓✗
GDPR✓✗
ISO 27001✓✗

基准测试结果

基准o1 PreviewDeepSeek V3胜出
ARC96—o1 Preview
BBH84.584.9DeepSeek V3
GPQA57.7—o1 Preview
GSM8K92.589.3o1 Preview
HUMANEVAL90.182.6o1 Preview
IFEVAL84.4—o1 Preview
MATH71.561.6o1 Preview
MMLU85.388.5DeepSeek V3
MUSR64.1—o1 Preview
WINOGRANDE85.2—o1 Preview

定价对比

项目 (每百万Token)o1 PreviewDeepSeek V3
输入$15$0.27
输出$60$1.1
缓存读$0$0.07
缓存写$0$0.27

o1 Preview 对比 DeepSeek V3

模型概述

o1 Preview 与 DeepSeek V3 均为 AI 模型市场的重要选项。本页对比两者在基准、定价与合规性上的差异。

核心规格对比

厂商发布日期上下文窗口许可证
Openai / Deepseek2024-09-12 / 2024-12-26128K / 64KProprietary / DeepSeek License

基准测试表现

基准o1 PreviewDeepSeek V3胜出
ARC96.0—A
BBH (BIG-Bench Hard)84.584.9Tie
GPQA57.7—A
GSM8K (Grade School Math 8K)92.589.3A
HumanEval90.182.6A
IFEval84.4—A
MATH71.561.6A
MMLU (Massive Multitask Language Understanding)85.388.5B
MUSR64.1—A
WinoGrande85.2—A

定价对比

输入输出缓存读取缓存写入
— / —— / —— / —— / —

每百万 token — A / B

优势 & 劣势

o1 Preview

  • ✅ MMLU 得分 85.3，知识推理能力强。
  • ✅ HumanEval 90.1，代码生成能力出色。
  • ✅ GSM8K 92.5，数学推理稳健。
  • ⚠️ 闭源专有模型，不支持自托管。

DeepSeek V3

  • ✅ MMLU 得分 88.5，知识推理能力强。
  • ✅ HumanEval 82.6，代码生成能力出色。
  • ✅ GSM8K 89.3，数学推理稳健。
  • ✅ 采用 MoE 混合专家架构。
  • ⚠️ 闭源专有模型，不支持自托管。

编辑点评

o1 Preview 与 DeepSeek V3 各有侧重。建议根据具体场景（代码、长文本、视觉等）选择，参考上方基准与定价表。

常见问题

哪个模型在代码任务上更优？

参考 HumanEval 基准得分表，得分更高者更适合代码任务。

哪个模型价格更低？

参考上方的定价对比表，输入/输出价格更低者更具成本优势。

上下文窗口哪个更长？

参考核心规格对比表，上下文窗口更大的模型适合长文档处理。

参考文献

编辑点评

See Editor's Take section.