SI-IQ 的计算方法

最近更新于 2026年10月18日

SI-IQ 是一种统计指数。它利用独立评测方在公开基准测试上发布的结果，将 AI 模型放到同一条能力标尺上，并以类似 IQ 分数的形式表示：100 为 2025 年发布的一组固定 AI 模型（参照组）的平均值，15 分为该组的一个标准差（参照组名单见第 4 节）。它不是 IQ 测试，不会用 IQ 题目测试模型，也不能与人类 IQ 分数相比较。

本页完整描述了计算方法。重新计算所有已发布数值所需的全部数据都在 /data/index.json 中；第 5 节的算例展示了一个模型的运算过程。

1. 哪些结果会被采用

只有同时满足以下全部条件的基准测试才会被使用：

1. 独立评测。 分数来自并非该模型开发方的评测方（例如 Epoch AI 自己的评测运行）。开发方公布的自家模型成绩一律不采用。
2. 可再发布的数据。 评测方的许可允许我们再发布这些数字，以便任何人都能下载全部输入并重新计算指数。条款禁止再发布或带有非商业许可的结果不予采用。
3. 足够的重叠。 在标定时，至少有 10 个模型在该基准测试上有结果且各自至少有 4 项结果，其中至少 3 个来自参照组，并且该基准测试通过共有模型与其余数据相连。
4. 确实衡量能力。 分数必须随总体能力上升；拟合载荷不为正的基准测试会被剔除。

取模型的哪个分数。 当评测方在多种设置（推理强度、思考预算）下运行了某个模型时，我们取其在该基准测试上发布的最佳分数。作为独立产品出售的更高档位（例如“Pro”模式）不被视为基础模型的一种设置。对于 OpenRouter，它会通过多个托管服务商运行每个模型，我们选取运行平均至少覆盖 95% 题目（尝试的题目总数除以运行次数）的服务商——若其中包含开发方自有托管，则只取开发方自有托管——并使用其中位数；数量为偶数时取中间两个值中较低者，因此我们使用的数字始终是某一服务商按原样发布的结果。

取哪个模型。 模型按 Epoch AI 的模型分组来识别。只有在产品类型上与所属分组一致的模型版本才会被使用（归在其他分组下的“VL”“Mini”或“Pro”版本会被排除）。来自其他来源的名称须精确匹配——在去除“(high)”等明确的运行设置后缀之后——并且仅当版本号和产品词一致时才算匹配；无法确定匹配的名称会等待确认，在此期间不参与排名。如果用于某模型的结果来自相隔超过 60 天的版本，该模型会显示但不排名。

当前纳入指数的基准测试及其参数：

n：题目数量。≈ = 根据评测方的标准误推算出的有效数量；* = 假定值（未公布题目数量）。“参与拟合的模型”= 最近一次标定时其结果决定参数的模型。

目前未纳入指数： Furniture Assembly (fewer than 3 reference-group models)

GPQA Diamond 出现两次，是因为 Epoch AI 和 OpenRouter 各自独立运行了同样的 198 道题。共用同一题集的结果构成一个族，合起来只算作一项结果（第 5 节）。

2. 从原始分数到统一标尺

对于某基准测试上的分数 s（答对比例），设随机水平为 g、有效上限为 c、题数为 n：

p   = clip((s − g) / (c − g), 0, 1)
p*  = (p·n + 0.5) / (n + 1)
y   = ln(p* / (1 − p*))
s*  = g + (c − g)·p*
v   = s*(1 − s*)·n / ((n + 1)²·(c − g)²·p*²·(1 − p*)²)

p 是经随机水平校正的分数，p* 是加了连续性校正的同一分数（因此永远不会恰好为 0 或 1），y 是其 logit，v 是 y 的抽样方差。v 是 y 的 delta 方法方差，其中分数被视为 n 道独立题目上的二项比例：Var(s) ≈ s*(1 − s*)/n，再乘以整个变换导数的平方 (1/(c − g))·(n/(n + 1))·1/(p*(1 − p*))。当 p 被截断（分数低于随机水平或高于上限）时，使用区间内部的导数。

logit 会拉伸标尺的两端，因此从 95% 提升到 99% 所代表的进步远大于从 50% 提升到 54%，这与取得这些提升的难度相符。由于 v 在接近 0% 和 100% 时增大，接近饱和的基准测试会自动获得较低的权重。

n 指什么。 n 统计的是不同的测试题目数；对相同题目重复运行并不会使其增加。上表说明了各 n 的来源：基准测试的定义（题目数量）、由评测方公布的标准误推导出的有效数量（n = s(1 − s)/SE²，即能给出该标准误的独立题目数），或在两者都没有时采用的 100 这一假设值。假设值并非安全的下界：如果真实的独立题目数更少，则 v 和区间都会偏小，该基准测试的权重会过大。对若干子测试取平均的分数被视为一个二项分数，这是一种近似。

3. 模型及其标定

每个变换后的分数按如下方式建模：

y = α_b · θ_m + β_b + e,      Var(e) = σ_b² + v

其中 e 为误差，θ_m 为模型 m 的能力，α_b 表示基准测试 b 区分强弱模型的力度（即其载荷），β_b 决定其难度，σ_b² 是单一能力无法解释的变异。这是双参数项目反应模型的线性化版本，Epoch AI 的 Capabilities Index 也使用这一模型。

标定每月拟合一次 α、β 和 σ²（每月 1 日或之后的首次运行，06:00 UTC）——此外，当某个被冻结的基准测试切换到修订后的值时（第 8 节），无论哪一天也会进行标定——所用模型须至少有四项合格结果：

1. 只保留满足第 1 节要求、且属于通过共有结果相连的最大模型与基准测试群的基准测试和模型。仅仅相连还不够：共有模型必须把每个基准测试都连接到同一条共同标尺上。拟合之后，对拟合值关于所有 θ、α 和 β 的导数做秩检验，结果必须恰好只剩下由参照组固定的两个自由方向（所有 θ 一起平移和拉伸）。如果某组基准测试可以相对其余部分被拉伸——例如两组之间只共有一个模型——则剔除那个移除后即可解决问题的基准测试（优先剔除模型最少者），并重新开始标定；如果移除任何单个基准测试都无法解决，则拒绝本次标定。
2. 起始值：对每个基准测试，将其 y 值做 z 分数标准化（使用总体标准差）；每个模型的起始 θ 为其 z 分数的均值；再以参照组为基准对 θ 做标准化（均值 0，总体标准差 1）。所有基准测试的起始值：α = 1，β = 0，σ² = 0.25。
3. 反复迭代，直到没有任何 θ 的变化超过 10⁻¹⁰（最多 500 轮）：
   • 对每个基准测试，以 1/(σ² + v) 为权重，对 y 关于 θ 做加权最小二乘直线拟合，得到 α 和 β（α 不允许低于 0.05）；σ² = max(Σ 残差² / (模型数 − 2) − mean(v), 0.10)；
   • 对每个模型，按第 5 节的公式计算 θ（不含最后的映射）；
   • 以参照组为基准重新标准化 θ，并把平移和缩放折算进 α 和 β。
4. 在最终的 θ 上再拟合一次 α、β、σ²。若某个基准测试的 α 停在 0.05，则将其剔除并重新开始标定。
5. 仿射映射。 第 5 节的公式包含一个向零的小幅拉力 λ，会使标尺略微收缩。因此我们对每个参照模型计算该公式，并发布 shift（其均值）和 scale（其总体标准差）；减去 shift 再除以 scale，即可使参照组在标定时恰好为均值 0、标准差 1。在两次标定之间，参照模型获得新结果时其分数会变动，因此在下一次标定之前，该组的均值会略微偏离 100。
6. κ（区间的经验性放宽系数）：将模型分成 5 折：把已拟合模型的 slug 按 Unicode 码点排序，从 0 开始编号，折号 = 编号 mod 5。对每一折，去掉该折的模型，按相同阈值重新运行步骤 1–5；该折的参照模型为其中包含的参照组成员（无最低数量要求），标定失败的折将被跳过。对每个被留出、且在该折所标定的基准测试上至少有 4 项结果的模型，将其结果族按族名的码点顺序交替分成 A、B 两半——每一半至少需要 2 项结果——并计算 z = (θ_A − θ_B) / √(SE_A² + SE_B²)，两个标准误中均取 κ = 1。κ =（|z| 的第 90 百分位数，按最近秩法取值）/ 1.644854，且不低于 1。若成功的折少于 3 个或配对少于 30 对，则 κ 无法确定，标定被拒绝。

标定使用其运行时已被接受的结果。若出现以下情况，标定会被拒绝，并继续沿用上一次标定：未收敛、产生非有限值、未通过秩检验，或冻结的参照组（第 4 节）中有任一模型不在拟合集合中——参照组绝不会被悄悄替换为恰好可用的成员。若有基准测试将被移出指数、获得名次的模型数量变化超过 10%，或分数变动超出预期（秩相关低于 0.95 或中位变化超过 3 分），重新标定（无论是每月一次的，还是因冻结的基准测试切换而进行的）也会被拒绝。只有当某个基准测试已完成配置，且此前仅因有结果的模型过少而被排除时，才可在这类重新标定中加入。其他结构性变更需要新的方法主版本；每个早期主版本的最后一版指数仍可在 /data/archive/ 下载。

在两次标定之间，参数保持冻结：新模型或新分数使用冻结的参数计分，因此添加模型绝不会改变其他任何模型的 SI-IQ。对相同输入再次处理时，每个结果都完全一致：整个过程不使用任何随机数。

4. 参照组（100 的含义）

参照组是一份固定的模型名单：即 2025 年发布且在首次标定时拥有足够独立数据的模型。它并不包含 2025 年发布的所有模型——它偏向评测方选择测试的知名模型。名单仅随主方法版本变更（最多每年一次，并附已发布的换算表）。当前参照组：

Claude 3.7 Sonnet, Claude Haiku 4.5, Claude Opus 4, Claude Opus 4.1, Claude Opus 4.5, Claude Sonnet 4, Claude Sonnet 4.5, DeepSeek-R1, DeepSeek-R1 (May 2025), DeepSeek-V3.2-Exp, DeepSeek-V3 (Mar 2025), Gemini 2.5 Pro (Jun 2025), Gemini 3 Flash, Gemini 3 Pro, Gemma 3 12B, Gemma 3 27B, Gemma 3 4B, GLM-4.7, GPT-4.1, GPT-4.1 mini, GPT-4.1 nano, GPT-5, GPT-5.1, GPT-5.2, GPT-5 mini, GPT-5 nano, gpt-oss-120b, gpt-oss-20b, Grok 3, Grok-3 mini, Grok 4, Llama 4 Maverick, Llama 4 Scout, Mistral Medium 3, o3, o3-mini, o4-mini, Qwen2.5-Max, Qwen3-14B, Qwen3-235B-A22B-Thinking (Jul 2025), Qwen3-30B-A3B, Qwen3-30B-A3B-Instruct (Jul 2025), Qwen3-32B, Qwen3-Max

部分基准测试存在人类基线，但它们所用的人群不同，覆盖的基准测试也太少，无法定义统一的人类标尺，因此 SI-IQ 不对人类 IQ 作任何论断。

5. 模型的 SI-IQ——可自行核验的公式

在已发布参数的基础上，每个模型的能力是其各项结果的闭式加权平均：

f_b   = 1 / F_b
w_b   = ω_b · f_b / (σ_b² + v_b)
D     = λ + Σ w_b·α_b²
θ₀    = Σ w_b·α_b·(y_b − β_b) / D
θ     = (θ₀ − shift) / scale
SE    = κ · √(Σ w_b²·α_b²·(σ_b² + v_b)) / D / scale
SI-IQ      = 100 + 15·θ
SI-IQ_low  = 100 + 15·(θ − 1.644854·SE)
SI-IQ_high = 100 + 15·(θ + 1.644854·SE)

• F_b 是该模型与 b 同属一个族的结果数；90% 区间从 SI-IQ_low 到 SI-IQ_high。
• ω_b = 1/√K，其中 K 是同一领域（知识、数学、推理、编程、智能体）内纳入指数的基准测试数量，这样基准测试很多的领域不会占据主导。
• λ = 0.1 为数据极少的模型提供一个微弱的向中间值的拉力。
• SE 是三明治标准误：当权重不是单纯的逆方差时依然有效。除族规则外，它将模型的各项结果视为相互独立，并且不包含标定参数的不确定性（见第 9 节）。
• **舍入：**所有比较均使用完整精度。显示值用 Python 的 round() 舍入到最接近的整数（恰为一半时取偶数）；区间两端以同样方式分别舍入。

算例（所有数字均来自当前数据）：

下面是目前排名最高的模型 GPT-6 Astra 的完整计算过程。

D     = 0.10 + 24.3255 = 24.4255
θ₀    = 80.5180 / 24.4255 = 3.2965
θ     = (3.2965 − 0.004024) / 0.994832 = 3.3096
SE    = 1.0000 × √14.3103 / 24.4255 / 0.994832 = 0.1557
SI-IQ = 100 + 15 × 3.3096 = 149.64 → 150
90%   = 145.8 … 153.5

6. 分领域能力

领域得分（知识、数学、推理、编程、智能体）使用同一公式，但仅限于该领域的基准测试，并以一个单位的权重将其拉向模型总体的未映射能力 θ₀：

θ_d,0   = (Σ_d w·α·(y − β) + 1·θ₀) / (Σ_d w·α² + 1)
θ_d     = (θ_d,0 − shift) / scale
SI-IQ_d = 100 + 15·θ_d

（d = 领域；Σ_d 对该领域的结果求和。）

其标准误和 90% 区间对该领域的结果使用相同的三明治形式，并将 θ₀ 视为已知：

SE_d = κ · √(Σ_d w²·α²·(σ² + v)) / (Σ_d w·α² + 1) / scale

只有当模型在某领域拥有至少来自两个不同族的结果时，才会显示该领域得分。

7. 谁能获得名次

模型的结果须来自至少 5 个基准测试族，覆盖至少 3 个领域，来自至少 2 个不同的评测方，且其各版本相隔不超过 60 天，才会被排名。其他模型列在“数据不足”之下，给出临时分数但无名次。已排名模型按 θ 排序（并列时按 slug）。每个模型页面还会显示名次区间：最佳名次为 1 加上区间完全高于该模型区间的已排名模型数；最差名次为区间上端不低于该模型区间下端的已排名模型数。它描述的是哪些区间有重叠；它不是概率，也不是显著性检验——名次区间重叠的两个模型，其区间仍可能并不重叠。

8. 更新与检查

• 每个来源每小时通过条件请求检查一次。OpenRouter 通过其清单以及清单所指向的、带日期的不可变文件读取，并用 SHA-256 校验；托管在 GitHub 上的文件会链接到确切的提交。我们解析过的每一个不同的基准测试结果文件都会存档。
• 每个新增或变更的数字，都会由一个与撰写本站文字的模型不同家族的 AI 模型，从其来源行（连同列标题）重新读取；它必须确认模型、基准测试、数字以及模型身份。如果检查服务不可用，整个更新会停止，之前的版本保持在线。
• 变化超过 10 分的分数，或与模型其他结果的预测相差甚远（超过 4 个标准差；变更的结果仅在其先前值并未如此偏离时才算）的新增或变更结果，会被暂缓，直到之后的来源快照对其予以确认：即至少六小时前见到的最近一份不同快照已经显示该值，且与其当前值相差不超过 0.02（部分来源，如 OpenRouter，每天都会重新计算平均值；此时发布的是最新值），或者另一次 GPQA Diamond 运行对其予以确认；仅靠等待绝不会放行。此前未获排名（新模型，或因数据不足而列出）、而现在得分会比当前榜首高出 5 分以上的模型，会保持其先前已发布的状态（新模型则为空）；其新增或变更的结果，只有在每一项都得到确认——即在该结果首次出现至少六小时之后，其来源仍列出它，且至少六小时前见到的最近一份不同快照已经显示该值、相差不超过 0.02（采用最新值）——并且该模型的分数仍在 3 分以内保持不变时，才会发布。其他来源的刷新不算数。
• 如果某来源更改了格式，或其行数（或其中某个基准测试的行数）突然减少超过 30%，则保留其最后一份正常数据，故障显示在 /status.json 上，且不更新来自该来源的任何内容。如果它更改了某个基准测试的定义（分数列、尺度、随机水平、上限、题目数量），则仅冻结该基准测试（见下文），直到由人工核查该更改；该来源的其他基准测试继续更新。只有当我们的解析器保留的文件行数占比仍与以前相同（说明这些行是在上游被删除，而非被我们丢失），并且随后 24 小时内解析的每个文件都同样偏小，缩减后的文件才会被接受为新的常态；该占比的下降绝不会被自动接受。超出 OpenRouter 的 90 天窗口、或从存档来源中过期的结果，保留其最后的值；被 Epoch AI 移除的结果，会在六小时后从本站移除。当某个来源名称被重新匹配到另一个模型时，旧的匹配会立即移除——包括存档来源和历史曲线中的匹配。
• 基准测试修订。 同时对许多现有结果重新评分，通常意味着基准测试本身发生了变化（新题目、新评分器）。当某个基准测试至少 5 项现有结果、且至少四分之一的现有结果在一次来源快照中变化超过 0.5 分时，该基准测试会被冻结：其已发布的值保持原样，不使用任何新增或变更的值。一旦每个变更值都已通过跨家族检查，并按与上文相同的方式由之后的快照予以确认，该基准测试就会连同一次重新标定，一步切换到新值——前提是该次重新标定通过全部检查；否则它保持冻结（失败的尝试会在一天后重试）。若来源在之后的快照中对某项现有结果重新评分（变化超过 0.5 分），该结果会并入同一次修订，同样须经确认，因此分几次快照陆续到来的重新评分也会一步切换；之后较小的变化保留其已发布的值，并在切换后照常检查。冻结之后来源新增的模型不会拖延切换；它们的结果在此之后照常检查。最终被检查拒绝的变更值会被排除（该模型将没有此基准测试的结果）。未变更的值保留；从保留最后值的来源中过期的值同样保留。如果三天后切换仍未就绪——对于从不发布较新快照的存档来源，情况总是如此——运营方会收到警报，并可在核查后批准当前快照中的值。冻结的基准测试列在 /status.json 中。
• 始终未获确认的暂缓值。 若某个暂缓值自首次被暂缓起 7 天内都没有任何较新快照予以确认（存档来源从不发布新快照），它将继续保持暂缓，直到之后有快照确认它，或由人工在来源处核查后将其放行，同时会上报给运营方。
• 发布之前，站点会自动检查：每个页面都能解析，内部链接和各语言版本链接都能正确指向，且 /data/index.json 中的每个 SI-IQ 都会根据其输入重新计算。如果已获排名的模型消失，或在没有重新标定的情况下许多分数发生变动，发布会停止。只有当每个受影响模型的输入都确实发生了变化（已接受、已检查的来源变更），并且这一状态在连续六次每小时运行中持续存在时，发布才会自动恢复；输入未变的模型若出现变化，绝不会被自动发布。
• 每一行输入都按其在来源中的原样发布在 /data/evidence.jsonl 中，并附上来源文件的地址和 SHA-256，因此即使来源已经变化，读者也能核对每个数字。

9. 已知局限

• **一个数字会掩盖差异。**模型越来越专精；各模型页面上的领域得分和分基准测试表格显示了模型在哪方面更强或更弱。
• **覆盖不均。**可再发布的独立编程和智能体任务基准测试很少，其中一些已不再更新，因此大多数较新模型缺少这些领域的得分。目前还没有多模态领域。
• **基准测试会老化和泄漏。**较旧的基准测试会饱和，或可能已出现在训练数据中。logit 变换降低了它们在接近上限时的影响，但无法消除污染；私有题集（如 FrontierMath）受影响较小。
• **评测方不同，设置不同。**相同题目在不同提示词、工具或强度设置下运行，可能得到不同分数；我们把每个评测方的运行作为单独的基准测试。
• **“最佳已发布设置”有利于在多种设置下被测试的模型，**因为多次运行中的最佳成绩往往更高。
• **排除开发方的声明，**尽管它们往往最先出现；开发方报告的数字往往偏有利，且在不同公司之间不可比。
• **标尺是相对的。**SI-IQ 只是将 AI 模型相互比较。140 分并不意味着模型的能力等同于 IQ 为 140 的人。
• **区间是有条件的。**它们假定第 3 节中的模型正确。它们没有计入标定参数的不确定性、模型各项结果之间超出族规则的相关性，以及评测方选择测试哪些模型的影响；κ 会按数据的独立两半实际分歧的程度将区间放宽，但不能保证 90% 区间有 90% 的概率覆盖真值。
• **假设的题目数量。**当 n 是假设值或有效数量（第 2 节）时，该基准测试的权重和区间都是近似的。

10. 数据来源与许可

必须标注的署名：

• Aider polyglot leaderboard data (Apache-2.0) — https://aider.chat/docs/leaderboards/
• Arena leaderboard dataset on Hugging Face (CC BY 4.0) — https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset
• Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0) — https://gorilla.cs.berkeley.edu/leaderboard.html
• Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0) — https://epoch.ai/benchmarks
• API list prices via LiteLLM's price table (MIT); each price links to the developer's pricing page — https://github.com/BerriAI/litellm/blob/main/model_prices_and_context_window.json
• Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter. — https://openrouter.ai/api/v1/datasets/exports/README.md

11. 版本

方法版本显示在每个模型页面和每个数据文件中。补丁版本修正数据或解析错误，不改变参数；次版本是重新标定（每月一次，或在冻结的基准测试切换到修订后的值时进行）；主版本会改变变换、模型、领域、基准测试集或参照组，并附带重新计算的历史数据。模型页面的历史曲线始终用当前参数对每天存档的输入重新评分，因此绝不会混用不同方法；这些输入发布在 /data/history.json 中，因此每个点都可以用第 5 节的公式重新计算。

• 1.0.0（2026 年 10 月 18 日）：首个版本。