自动生成页面。本页由 AI 自动撰写和翻译,并由软件对照来源进行核查,无人工编辑。SI-IQ 是基于公开基准测试结果构建的指数,不是智商测试。 工作原理
Llama 3.1-405B 有多聪明?
70
Llama 3.1-405B 是 Meta AI 于2024年7月23日发布的模型。其 SI-IQ 为 70(90% 区间 65–75),由 1 家评测方的 3 项基准测试结果估算得出。
数据截至 2026年10月18日 · 方法版本 1.0.0
模型的结果须来自至少 5 项基准测试(两次 GPQA Diamond 运行计为一项),覆盖至少 3 个领域,出自至少 2 家不同的评测方,且各版本的发布时间相隔不超过 60 天,方可进入排名。该模型目前尚未满足这一要求(结果来自不足 5 项基准测试;结果覆盖不足 3 个领域;结果来自不足 2 家评测方)。其暂定估计值依据的是 3 项基准测试结果,新结果加入后可能大幅变化。
基本信息
- 开发方
- Meta AI
- 发布时间
- 2024年7月23日
- 访问方式
- 开放权重(受限许可)
- 所用基准测试
- 来自 1 家评测方的 3 项基准测试结果
各领域能力(SI-IQ,90% 区间)
我们使用的每项基准测试结果
每个分数都是来源发布的原始单一数值:Epoch AI 取其各运行设置中的最佳结果,OpenRouter 取托管服务商的中位数(若开发方自行托管并运行了测试,则取其自有托管的结果)。“隐含 SI-IQ”是该单项结果所对应的能力水平;总体 SI-IQ 是这些值按精度加权后的平均值。
| 基准测试 | 得分 | 评测方 | 来源 |
|---|---|---|---|
| MATH Level 5 | 49.8% | Epoch AI | Epoch AI Benchmarking Hub · 数据文件 |
| OTIS Mock AIME 2024–2025 | 9.7% | Epoch AI | Epoch AI Benchmarking Hub · 数据文件 |
| GPQA Diamond | 50.9% | Epoch AI | Epoch AI Benchmarking Hub · 数据文件 |
采用 SI-IQ 方法版本 1.0.0 计算。 阅读完整方法论
数据来源: Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0)(许可与修改)。