基准测试表现
| 基准 |
得分 |
单位 |
评测日期 |
备注 |
来源 |
| MMLU |
87.7 |
% |
2024-12-18 |
5-shot |
查看 |
| HUMANEVAL |
81.1 |
pass@1 |
2024-12-18 |
— |
查看 |
| GSM8K |
89.8 |
% |
2024-12-18 |
0-shot CoT |
查看 |
| MATH |
50.7 |
% |
2024-12-18 |
0-shot CoT |
查看 |
| BBH |
83.4 |
% |
2024-12-18 |
3-shot CoT |
查看 |
| GPQA |
50.1 |
% |
2024-12-18 |
0-shot |
查看 |
| IFEVAL |
83.1 |
% |
2024-12-18 |
prompt_strict |
查看 |
| ARC |
96.2 |
% |
2024-12-18 |
challenge |
查看 |
| MUSR |
69.4 |
% |
2024-12-18 |
0-shot |
查看 |
| WINOGRANDE |
87.2 |
% |
2024-12-18 |
0-shot |
查看 |
合规性
- 数据驻留: self-host
- SOC2: ✗
- HIPAA: ✗
- GDPR: ✗
- ISO 27001: ✗
Sonar Reasoning
模型概述
Perplexity Sonar Reasoning 推理型在线 RAG 模型, 127K 上下文, 基于 DeepSeek R1 微调, 链式思维推理。
核心规格
| 厂商 |
版本 |
发布日期 |
上下文窗口 |
输入模态 |
输出模态 |
许可证 |
| Other |
sonar-reasoning |
2024-12-18 |
127K |
text |
text |
Proprietary |
基准测试表现
| 基准 |
得分 |
单位 |
备注 |
| MMLU (Massive Multitask Language Understanding) |
87.7 |
% |
5-shot |
| HumanEval |
81.1 |
pass@1 |
— |
| GSM8K (Grade School Math 8K) |
89.8 |
% |
0-shot CoT |
| MATH |
50.7 |
% |
0-shot CoT |
| BBH (BIG-Bench Hard) |
83.4 |
% |
3-shot CoT |
| GPQA |
50.1 |
% |
0-shot |
| IFEval |
83.1 |
% |
prompt_strict |
| ARC |
96.2 |
% |
challenge |
| MUSR |
69.4 |
% |
0-shot |
| WinoGrande |
87.2 |
% |
0-shot |
定价
每百万 token
优势
- MMLU 得分 87.7,知识推理能力强。
- HumanEval 81.1,代码生成能力出色。
- GSM8K 89.8,数学推理稳健。
劣势
适用场景
参考文献