自動生成ページです。 AIが自動で作成・翻訳し、ソフトウェアが情報源と照合して確認しています。人間の編集者はいません。SI-IQは公開されているベンチマーク結果から作成した指数であり、IQテストではありません。 仕組み

SI-IQの算出方法

最終更新 2026年10月18日

SI-IQは統計的な指標です。独立した評価機関が公開ベンチマークで発表した結果を用いて、AIモデルを一つの能力尺度上に配置し、その尺度をIQスコアのように表します。100は2025年に公開された固定の基準グループ(AIモデル)の平均、15ポイントはそのグループの標準偏差1つ分です(グループは第4節に掲載しています)。IQテストではなく、モデルにIQ問題を解かせているわけでもなく、人間のIQスコアと比較することはできません。

このページでは手法をすべて説明します。公開しているすべての数値を再計算するために必要なものは /data/index.json に揃っています。第5節の計算例では、1つのモデルについて計算過程を示します。

1. 対象となる結果

ベンチマークは、次の条件をすべて満たす場合にのみ使用します。

  1. 独立した評価。 スコアが、モデルの開発元ではない評価機関によるものであること(例:Epoch AI自身の評価実行)。開発元が自社モデルについて報告した数値は一切使用しません。
  2. 再公開可能なデータ。 誰もがすべての入力をダウンロードして指数を再計算できるよう、評価機関のライセンスで数値の再公開が認められていること。再公開を禁じる条件の結果や、非商用ライセンスの結果は使用しません。
  3. 十分な重複。 較正時点で、4件以上の結果を持つモデルのうち少なくとも10モデルがその結果を持ち、そのうち少なくとも3モデルが基準グループに属し、かつそのベンチマークが共通のモデルを通じて他のデータとつながっていること。
  4. 能力を測定していること。 スコアが総合的な能力とともに上昇する必要があります。当てはめた負荷量が正でないベンチマークは除外します。

モデルのどのスコアを使うか。 評価機関が1つのモデルを複数の設定(推論の強度、思考予算)で実行した場合は、そのベンチマークでそのモデルについて公開された最良のスコアを採用します。別商品として販売されている上位のプラン(例:「Pro」モード)は、基本モデルの設定とは見なしません。OpenRouterでは各モデルを複数のホスティング事業者経由で実行しているため、実行が平均して問題の95%以上をカバーした事業者(試行した問題の合計を実行回数で割った値)を対象とし、開発元自身のホスティングがその中にある場合はそれのみを対象として、その中央値のものを使います。偶数の場合は中央の2つのうち低い方を採用するため、使用する数値は常に1つの事業者が公開した結果そのままです。

どのモデルか。 モデルはEpoch AIのモデルグループで識別します。モデルのバージョンは、製品の種類がグループと一致する場合にのみ使用します(別のグループに登録された「VL」「Mini」「Pro」バージョンは除外します)。他の情報源の名前は、「(high)」などの実行設定を明示する接尾辞を除いた上で完全一致で照合し、バージョン番号と製品名の語が一致する場合に限ります。確実に照合できない名前は確認されるまで保留し、その間はランク付けしません。モデルについて使用する結果が60日を超えて離れたバージョンのものである場合、そのモデルは表示されますがランク付けされません。

現在の指数に含まれるベンチマークとそのパラメータ:

ベンチマーク分野評価機関gcnαβσ²ωフィットに使用したモデル数
Chess Puzzles推論Epoch AI0.0501.001001.078−2.5050.1000.70777
Mystery Game Puzzles推論Epoch AI0.0921.001001.155−3.0300.1000.70777
FrontierMath Tier 4数学Epoch AI0.0001.00≈412.319−4.7180.1000.50065
FrontierMath Tiers 1–3数学Epoch AI0.0001.00≈2851.498−1.9560.1000.50083
MATH Level 5数学Epoch AI0.0001.001,3241.2702.5830.1000.50043
OTIS Mock AIME 2024–2025数学Epoch AI0.0011.00451.3760.6350.1000.500136
Aider PolyglotコーディングAider0.0001.002251.0580.2770.4760.70727
SWE-bench Verified (Epoch AIによる実行)コーディングEpoch AI0.0001.00≈4830.4690.4320.1000.70731
GPQA Diamond知識Epoch AI0.2501.001980.7510.6540.1000.577134
GPQA Diamond (OpenRouterによる実行)知識OpenRouter0.2501.001980.6770.5160.1550.57793
SimpleQA Verified知識Epoch AI0.0001.001,0000.628−1.2110.3370.57779
Berkeley Function Calling LeaderboardエージェントUC Berkeley (Gorilla)0.0001.00100*0.4690.0790.1000.70726
τ²-bench Airline (OpenRouterによる実行)エージェントOpenRouter0.0001.00500.4070.2900.1000.70792

n: 問題数。≈ = 評価機関の標準誤差から導いた実効数、* = 推定値(件数の公表なし)。「フィットに使用したモデル数」= 前回の較正でパラメータの決定に使われたモデルの数です。

現在、指数に含まれていないもの: Furniture Assembly (基準グループのモデルが3件未満)

GPQA Diamondが2回登場するのは、Epoch AIとOpenRouterが同じ198問を独立して実行したためです。問題セットを共有する結果はファミリーを構成し、まとめて1件の結果として数えます(第5節)。

2. 生のスコアから共通尺度へ

偶然正答率 g、実効上限 c、問題数 n のベンチマークでのスコア s(正答率)について:

p   = clip((s − g) / (c − g), 0, 1)
p*  = (p·n + 0.5) / (n + 1)
y   = ln(p* / (1 − p*))
s*  = g + (c − g)·p*
v   = s*(1 − s*)·n / ((n + 1)²·(c − g)²·p*²·(1 − p*)²)

p は偶然正答を補正したスコア、p* はそれに連続性補正を施したもの(そのため厳密に0や1になることはありません)、y はそのロジット、v は y の標本分散です。v は、スコアが n 個の独立した問題に対する二項比率であるとしたときの、y のデルタ法による分散です。すなわち、Var(s) ≈ s*(1 − s*)/n に、変換全体の導関数の2乗 (1/(c − g))·(n/(n + 1))·1/(p*(1 − p*)) を掛けたものです。p がクリップされる場合(偶然正答率を下回る、または上限を超えるスコア)は、範囲内の導関数を使います。

ロジットは尺度の上端と下端を引き伸ばすため、95%から99%への上昇は、50%から54%への上昇よりもはるかに大きな進歩として数えられます。これは、それぞれの向上を達成する難しさに見合っています。v は0%と100%の付近で大きくなるため、ほぼ飽和したベンチマークは自動的に重みが小さくなります。

n とは。 n は異なるテスト問題の数であり、同じ問題を何度実行しても増えません。各 n の出どころは上の表に記載しています。ベンチマークの定義(問題数)、評価機関が公開した標準誤差から導いた実効数(n = s(1 − s)/SE²。その標準誤差を与える独立した問題の数)、またはどちらもない場合に明示的に置く100という仮定値のいずれかです。仮定値は安全側の値ではありません。実際の独立した問題数がそれより少ない場合、v と区間は小さすぎ、そのベンチマークの重みは過大になります。複数のサブテストを平均したスコアは1つの二項スコアとして扱いますが、これは近似です。

3. モデルとその較正

変換後の各スコアは次のようにモデル化します。

y = α_b · θ_m + β_b + e,      Var(e) = σ_b² + v

ここで e は誤差、θ_m はモデル m の能力、α_b はベンチマーク b が強いモデルと弱いモデルをどれだけはっきり分けるか(負荷量)、β_b はその難しさ、σ_b² は単一の能力では説明できない変動です。これは、Epoch AIのCapabilities Indexでも使われている2パラメータ項目反応モデルを線形化したものです。

較正では、4件以上の対象結果を持つモデルを使い、α、β、σ² を月に1回(毎月1日以降の最初の実行、06:00 UTC)当てはめます。さらに、凍結されたベンチマークが改訂後の値に切り替えられるとき(第8節)にも、日付を問わず当てはめを行います。

  1. 第1節の条件を満たし、かつ共通の結果でつながっているモデルとベンチマークの最大の集合に属するベンチマークとモデルだけを残します。つながっているだけでは不十分で、共有されるモデルがすべてのベンチマークを1つの共通尺度に結びつけている必要があります。当てはめ後、すべての θ、α、β に関する当てはめ値の導関数のランク検査を行い、基準グループが固定する2つの自由方向(すべての θ の平行移動と伸縮)だけがちょうど残る必要があります。あるベンチマーク群を他と切り離して伸縮できてしまう場合(例:1つのモデルしか共有しない2つのグループ)は、除くことでこれを解消できるベンチマーク(モデル数の少ないものを優先)を除外して較正をやり直します。どのベンチマークを1つ除いても解消できない場合、較正は却下されます。
  2. 開始値:各ベンチマークで y 値をz得点化し(母集団標準偏差を使用)、各モデルの開始 θ をそのz得点の平均とし、θ を基準グループで標準化します(平均0、母集団標準偏差1)。すべてのベンチマークの開始値は α = 1、β = 0、σ² = 0.25 です。
  3. どの θ の変化も10⁻¹⁰を超えなくなるまで繰り返します(最大500回)。
    • 各ベンチマークで、重み 1/(σ² + v) による y の θ への重み付き最小二乗直線から α と β を求めます(α は0.05未満にはできません)。σ² = max(Σ 残差² / (モデル数 − 2) − mean(v), 0.10) です。
    • 各モデルについて、第5節の式から θ を求めます(最後の写像は除く)。
    • θ を基準グループで再標準化し、平行移動と伸縮を α と β に織り込みます。
  4. 最終的な θ で α、β、σ² をもう一度当てはめます。α が0.05に張り付いたベンチマークは除外し、較正をやり直します。
  5. アフィン写像。 第5節の式にはゼロへの小さな引き寄せ λ が含まれており、尺度がわずかに縮みます。そこで、すべての基準モデルについてこの式を計算し、shift(その平均)と scale(その母集団標準偏差)を公開します。shift を引いて scale で割ることで、較正時点の基準グループはちょうど平均0、標準偏差1になります。較正と較正の間は、基準モデルに新しい結果が加わるとそのスコアが動くため、次の較正までグループの平均は100からわずかにずれます。
  6. κ(区間の経験的な拡大係数):モデルを5つのフォールドに分けます。当てはめたモデルのスラッグをUnicodeコードポイント順に並べ、0から番号を振り、フォールド = 番号 mod 5 とします。各フォールドについて、そのフォールドのモデルを除き、同じ閾値でステップ1〜5をやり直します。フォールドの基準モデルは、そのフォールドに含まれる基準グループのメンバーとし(最小数の制限なし)、較正に失敗したフォールドはスキップします。そのフォールドで較正されたベンチマークに4件以上の結果を持つ各ホールドアウトモデルについて、その結果ファミリーを(ファミリー名のコードポイント順に)交互に2つの半分AとBに分けます。各半分には少なくとも2件の結果が必要です。両方の標準誤差で κ = 1 として、z = (θ_A − θ_B) / √(SE_A² + SE_B²) を計算します。κ = (|z| の90パーセンタイル、最近順位法) / 1.644854 とし、1を下回ることはありません。成功したフォールドが3未満、またはペアが30未満の場合、κ は決まらず、較正は却下されます。

較正は、実行時点で受け入れられている結果を使用します。収束しない、非有限値が生じる、ランク検査に失敗する、または固定された基準グループ(第4節)のいずれかのモデルが当てはめの対象に含まれていない場合は却下され、前回の較正が引き続き有効になります。基準グループが、たまたま利用可能なメンバーに黙って置き換えられることはありません。再較正(月次、または凍結されたベンチマークの切り替え時)は、ベンチマークが指数から外れる場合、ランク付けされたモデルの数が10%を超えて変わる場合、またはスコアが想定以上に動く場合(順位相関が0.95未満、または変化の中央値が3ポイント超)にも却下されます。こうした再較正でベンチマークが加わることができるのは、すでに設定済みで、以前は結果を持つモデルが少なすぎたことだけを理由に除外されていた場合に限ります。その他の構造的な変更には新しいメジャーバージョンのメソッドが必要で、以前の各メジャーバージョンの最後の指数は /data/archive/ から引き続きダウンロードできます。

較正と較正の間はパラメータが固定されます。新しいモデルや新しいスコアは固定されたパラメータで採点されるため、モデルを追加しても他のモデルのSI-IQが変わることはありません。同じ入力を再度処理すれば、すべての結果は同一になります。乱数はどこにも使っていません。

指標値
λ0.10
κ1.0000
shift0.004024
scale0.994832
σ²の下限0.10
基準グループのモデル数44
較正に使用したモデル数138
手法のバージョン1.0.0
最終較正日2026年10月18日

4. 基準グループ(100の意味)

基準グループは固定されたモデルのリストで、2025年に公開され、最初の較正時点で十分な独立データがあったモデルです。2025年に公開されたすべてのモデルではなく、評価機関が選んでテストした、よく知られたモデルに偏っています。リストが変わるのはメジャーなメソッドバージョンのときのみです(年1回まで、変換表を公開します)。現在の基準グループ:

Claude 3.7 Sonnet, Claude Haiku 4.5, Claude Opus 4, Claude Opus 4.1, Claude Opus 4.5, Claude Sonnet 4, Claude Sonnet 4.5, DeepSeek-R1, DeepSeek-R1 (May 2025), DeepSeek-V3.2-Exp, DeepSeek-V3 (Mar 2025), Gemini 2.5 Pro (Jun 2025), Gemini 3 Flash, Gemini 3 Pro, Gemma 3 12B, Gemma 3 27B, Gemma 3 4B, GLM-4.7, GPT-4.1, GPT-4.1 mini, GPT-4.1 nano, GPT-5, GPT-5.1, GPT-5.2, GPT-5 mini, GPT-5 nano, gpt-oss-120b, gpt-oss-20b, Grok 3, Grok-3 mini, Grok 4, Llama 4 Maverick, Llama 4 Scout, Mistral Medium 3, o3, o3-mini, o4-mini, Qwen2.5-Max, Qwen3-14B, Qwen3-235B-A22B-Thinking (Jul 2025), Qwen3-30B-A3B, Qwen3-30B-A3B-Instruct (Jul 2025), Qwen3-32B, Qwen3-Max

一部のベンチマークには人間のベースラインがありますが、母集団が異なり、共通の人間の尺度を定めるには対象のベンチマークが少なすぎます。そのためSI-IQは、人間のIQについては何も主張しません。

5. モデルのSI-IQ:検算できる式

公開されているパラメータを使うと、各モデルの能力はその結果の閉形式の重み付き平均になります。

f_b   = 1 / F_b
w_b   = ω_b · f_b / (σ_b² + v_b)
D     = λ + Σ w_b·α_b²
θ₀    = Σ w_b·α_b·(y_b − β_b) / D
θ     = (θ₀ − shift) / scale
SE    = κ · √(Σ w_b²·α_b²·(σ_b² + v_b)) / D / scale
SI-IQ      = 100 + 15·θ
SI-IQ_low  = 100 + 15·(θ − 1.644854·SE)
SI-IQ_high = 100 + 15·(θ + 1.644854·SE)

計算例(数値はすべて現在のデータによるもの):

現在最上位のGPT-6 Astraについて、計算の全過程を示します。

ベンチマークspp*yvfww·α·(y−β)w·α²w²·α²·(σ²+v)
Chess Puzzles74.00%0.72640.72420.96530.05261.004.633317.32815.37983.8041
Mystery Game Puzzles84.00%0.82370.82051.52000.07481.004.044921.25225.39273.8132
FrontierMath Tier 497.60%0.97600.96473.30700.68191.000.639511.90113.43971.7199
FrontierMath Tiers 1–393.68%0.93680.93532.67130.05761.003.172821.99517.12173.5608
OTIS Mock AIME 2024–2025100.00%1.00000.98914.51091.98001.000.24041.28210.45510.2276
GPQA Diamond95.77%0.94360.94142.77620.12270.501.29642.06770.73210.2113
GPQA Diamond (OpenRouterによる実行)94.73%0.92970.92752.54900.10110.501.12881.55310.51700.1493
SimpleQA Verified75.60%0.75600.75571.12950.00541.001.68452.47430.66370.3832
τ²-bench Airline (OpenRouterによる実行)67.67%0.67670.67320.72270.08741.003.77370.66430.62360.4410
D     = 0.10 + 24.3255 = 24.4255
θ₀    = 80.5180 / 24.4255 = 3.2965
θ     = (3.2965 − 0.004024) / 0.994832 = 3.3096
SE    = 1.0000 × √14.3103 / 24.4255 / 0.994832 = 0.1557
SI-IQ = 100 + 15 × 3.3096 = 149.64 → 150
90%   = 145.8 … 153.5

6. 領域別の能力

領域スコア(知識、数学、推論、コーディング、エージェント)には、その領域のベンチマークに限定した同じ式を使い、1単位の重みでモデル全体の未写像の能力 θ₀ へ引き寄せます。

θ_d,0   = (Σ_d w·α·(y − β) + 1·θ₀) / (Σ_d w·α² + 1)
θ_d     = (θ_d,0 − shift) / scale
SI-IQ_d = 100 + 15·θ_d

(d は領域を表し、Σ_d はその領域の結果についての和です。)

その標準誤差と90%区間には、θ₀ を既知として扱い、その領域の結果に対して同じサンドイッチ形式を用います。

SE_d = κ · √(Σ_d w²·α²·(σ² + v)) / (Σ_d w·α² + 1) / scale

領域スコアは、モデルがその領域で少なくとも2つの異なるファミリーの結果を持つ場合にのみ表示されます。

7. ランク付けされる条件

モデルは、結果が少なくとも5つのベンチマークファミリーにわたり、少なくとも3つの領域をカバーし、少なくとも2つの異なる評価機関によるもので、かつバージョンの間隔が60日以内の場合にランク付けされます。それ以外のモデルは、暫定スコアのみで順位なしの「データ不足」に分類されます。ランク付けされたモデルは θ の順に並べます(同値の場合はスラッグ順)。各モデルのページには順位の範囲も表示されます。最良順位は、区間がこのモデルの区間より完全に上にあるランク付け済みモデルの数に1を足したものです。最悪順位は、区間の上端がこのモデルの区間の下端以上であるランク付け済みモデルの数です。これはどの区間が重なるかを示すもので、確率でも有意性検定でもありません。順位の範囲が重なる2つのモデルでも、区間自体は重ならないことがあります。

8. 更新と検証

9. 既知の限界

10. データソースとライセンス

出典ライセンス / 利用条件ダウンロードデータ内用途
Epoch AI Benchmarking HubCC BY 4.0はいSI-IQの入力
OpenRouter benchmark datasetsCC BY 4.0はいSI-IQの入力
Aider LLM LeaderboardsApache-2.0はいSI-IQの入力
Berkeley Function Calling LeaderboardApache-2.0はいSI-IQの入力
Arena (formerly LMArena) leaderboard datasetCC BY 4.0はい参考表示
LiteLLM model price tableMITはい価格

必要な帰属表示:

11. バージョン

メソッドのバージョンは、各モデルのページとすべてのデータファイルに表示されます。パッチバージョンはパラメータを変えずにデータや解析のエラーを修正し、マイナーバージョンは再較正(月次、または凍結されたベンチマークが改訂後の値に切り替わるとき)です。メジャーバージョンは変換、モデル、領域、ベンチマークの構成、または基準グループを変更し、再計算された履歴を伴います。モデルページの履歴曲線は、常に各日のアーカイブされた入力を現在のパラメータで再採点するため、異なる手法が混在することはありません。それらの入力は /data/history.json で公開されており、すべての点を第5節の式で再計算できます。