基准测试表现
| 基准 |
得分 |
单位 |
评测日期 |
备注 |
来源 |
| MMLU |
84.4 |
% |
2023-11-06 |
5-shot |
查看 |
| HUMANEVAL |
80.5 |
pass@1 |
2023-11-06 |
— |
查看 |
| GSM8K |
85.2 |
% |
2023-11-06 |
0-shot CoT |
查看 |
| MATH |
50.9 |
% |
2023-11-06 |
0-shot CoT |
查看 |
| BBH |
78.5 |
% |
2023-11-06 |
3-shot CoT |
查看 |
| GPQA |
49.2 |
% |
2023-11-06 |
0-shot |
查看 |
| IFEVAL |
77.9 |
% |
2023-11-06 |
prompt_strict |
查看 |
| ARC |
94.2 |
% |
2023-11-06 |
challenge |
查看 |
| MUSR |
61.1 |
% |
2023-11-06 |
0-shot |
查看 |
| WINOGRANDE |
80.8 |
% |
2023-11-06 |
0-shot |
查看 |
合规性
- 数据驻留: US
- SOC2: ✓
- HIPAA: ✓
- GDPR: ✓
- ISO 27001: ✓
GPT-4 Turbo
模型概述
OpenAI GPT-4 Turbo 模型, 128K 上下文窗口, 支持视觉输入, 相比 GPT-4 价格降低 3 倍, 性能提升。
核心规格
| 厂商 |
版本 |
发布日期 |
上下文窗口 |
输入模态 |
输出模态 |
许可证 |
| Openai |
turbo |
2023-11-06 |
128K |
text, image |
text |
Proprietary |
基准测试表现
| 基准 |
得分 |
单位 |
备注 |
| MMLU (Massive Multitask Language Understanding) |
84.4 |
% |
5-shot |
| HumanEval |
80.5 |
pass@1 |
— |
| GSM8K (Grade School Math 8K) |
85.2 |
% |
0-shot CoT |
| MATH |
50.9 |
% |
0-shot CoT |
| BBH (BIG-Bench Hard) |
78.5 |
% |
3-shot CoT |
| GPQA |
49.2 |
% |
0-shot |
| IFEval |
77.9 |
% |
prompt_strict |
| ARC |
94.2 |
% |
challenge |
| MUSR |
61.1 |
% |
0-shot |
| WinoGrande |
80.8 |
% |
0-shot |
定价
每百万 token
优势
- MMLU 得分 84.4,知识推理能力强。
- HumanEval 80.5,代码生成能力出色。
- GSM8K 85.2,数学推理稳健。
- 支持文本、图像、音频多模态输入。
- 上下文窗口 128K,支持长文本。
劣势
适用场景
- 代码生成与调试
- 长文档摘要
- 视觉与图像理解
- Agent 工作流与工具调用
参考文献