基准测试表现
| 基准 |
得分 |
单位 |
评测日期 |
备注 |
来源 |
| MMLU |
74.5 |
% |
2023-08-24 |
5-shot |
查看 |
| HUMANEVAL |
71.7 |
pass@1 |
2023-08-24 |
— |
查看 |
| GSM8K |
59.8 |
% |
2023-08-24 |
0-shot CoT |
查看 |
| MATH |
44.7 |
% |
2023-08-24 |
0-shot CoT |
查看 |
| BBH |
59.1 |
% |
2023-08-24 |
3-shot CoT |
查看 |
| GPQA |
27 |
% |
2023-08-24 |
0-shot |
查看 |
| IFEVAL |
58.7 |
% |
2023-08-24 |
prompt_strict |
查看 |
| ARC |
88.7 |
% |
2023-08-24 |
challenge |
查看 |
| MUSR |
44.9 |
% |
2023-08-24 |
0-shot |
查看 |
| WINOGRANDE |
80 |
% |
2023-08-24 |
0-shot |
查看 |
定价
| 项目 |
价格 |
币种 |
| 输入 | $0.5 / Mtok | USD |
| 输出 | $0.5 / Mtok | USD |
| 缓存读 | $0 / Mtok | USD |
| 缓存写 | $0 / Mtok | USD |
数据来源:
https://ai.meta.com/blog/
· 截至 2023-08-24
合规性
- 数据驻留: self-host
- SOC2: ✗
- HIPAA: ✗
- GDPR: ✗
- ISO 27001: ✗
Code Llama 34B
模型概述
Meta Code Llama 34B 代码专用开源模型, 16K 上下文, 中等规模, 平衡代码生成性能与资源消耗。
核心规格
| 厂商 |
版本 |
发布日期 |
上下文窗口 |
输入模态 |
输出模态 |
许可证 |
| Meta |
code-llama-34b |
2023-08-24 |
16K |
text |
text |
Llama 2 Community License |
基准测试表现
| 基准 |
得分 |
单位 |
备注 |
| MMLU (Massive Multitask Language Understanding) |
74.5 |
% |
5-shot |
| HumanEval |
71.7 |
pass@1 |
— |
| GSM8K (Grade School Math 8K) |
59.8 |
% |
0-shot CoT |
| MATH |
44.7 |
% |
0-shot CoT |
| BBH (BIG-Bench Hard) |
59.1 |
% |
3-shot CoT |
| GPQA |
27.0 |
% |
0-shot |
| IFEval |
58.7 |
% |
prompt_strict |
| ARC |
88.7 |
% |
challenge |
| MUSR |
44.9 |
% |
0-shot |
| WinoGrande |
80.0 |
% |
0-shot |
定价
每百万 token
优势
劣势
- 闭源专有模型，不支持自托管。
- 上下文窗口 16K 偏小。
适用场景
参考文献