SI-IQの算出方法
最終更新 2026年10月18日
SI-IQは統計的な指標です。独立した評価機関が公開ベンチマークで発表した結果を用いて、AIモデルを一つの能力尺度上に配置し、その尺度をIQスコアのように表します。100は2025年に公開された固定の基準グループ(AIモデル)の平均、15ポイントはそのグループの標準偏差1つ分です(グループは第4節に掲載しています)。IQテストではなく、モデルにIQ問題を解かせているわけでもなく、人間のIQスコアと比較することはできません。
このページでは手法をすべて説明します。公開しているすべての数値を再計算するために必要なものは /data/index.json に揃っています。第5節の計算例では、1つのモデルについて計算過程を示します。
1. 対象となる結果
ベンチマークは、次の条件をすべて満たす場合にのみ使用します。
- 独立した評価。 スコアが、モデルの開発元ではない評価機関によるものであること(例:Epoch AI自身の評価実行)。開発元が自社モデルについて報告した数値は一切使用しません。
- 再公開可能なデータ。 誰もがすべての入力をダウンロードして指数を再計算できるよう、評価機関のライセンスで数値の再公開が認められていること。再公開を禁じる条件の結果や、非商用ライセンスの結果は使用しません。
- 十分な重複。 較正時点で、4件以上の結果を持つモデルのうち少なくとも10モデルがその結果を持ち、そのうち少なくとも3モデルが基準グループに属し、かつそのベンチマークが共通のモデルを通じて他のデータとつながっていること。
- 能力を測定していること。 スコアが総合的な能力とともに上昇する必要があります。当てはめた負荷量が正でないベンチマークは除外します。
モデルのどのスコアを使うか。 評価機関が1つのモデルを複数の設定(推論の強度、思考予算)で実行した場合は、そのベンチマークでそのモデルについて公開された最良のスコアを採用します。別商品として販売されている上位のプラン(例:「Pro」モード)は、基本モデルの設定とは見なしません。OpenRouterでは各モデルを複数のホスティング事業者経由で実行しているため、実行が平均して問題の95%以上をカバーした事業者(試行した問題の合計を実行回数で割った値)を対象とし、開発元自身のホスティングがその中にある場合はそれのみを対象として、その中央値のものを使います。偶数の場合は中央の2つのうち低い方を採用するため、使用する数値は常に1つの事業者が公開した結果そのままです。
どのモデルか。 モデルはEpoch AIのモデルグループで識別します。モデルのバージョンは、製品の種類がグループと一致する場合にのみ使用します(別のグループに登録された「VL」「Mini」「Pro」バージョンは除外します)。他の情報源の名前は、「(high)」などの実行設定を明示する接尾辞を除いた上で完全一致で照合し、バージョン番号と製品名の語が一致する場合に限ります。確実に照合できない名前は確認されるまで保留し、その間はランク付けしません。モデルについて使用する結果が60日を超えて離れたバージョンのものである場合、そのモデルは表示されますがランク付けされません。
現在の指数に含まれるベンチマークとそのパラメータ:
| ベンチマーク | 分野 | 評価機関 | g | c | n | α | β | σ² | ω | フィットに使用したモデル数 |
|---|---|---|---|---|---|---|---|---|---|---|
| Chess Puzzles | 推論 | Epoch AI | 0.050 | 1.00 | 100 | 1.078 | −2.505 | 0.100 | 0.707 | 77 |
| Mystery Game Puzzles | 推論 | Epoch AI | 0.092 | 1.00 | 100 | 1.155 | −3.030 | 0.100 | 0.707 | 77 |
| FrontierMath Tier 4 | 数学 | Epoch AI | 0.000 | 1.00 | ≈41 | 2.319 | −4.718 | 0.100 | 0.500 | 65 |
| FrontierMath Tiers 1–3 | 数学 | Epoch AI | 0.000 | 1.00 | ≈285 | 1.498 | −1.956 | 0.100 | 0.500 | 83 |
| MATH Level 5 | 数学 | Epoch AI | 0.000 | 1.00 | 1,324 | 1.270 | 2.583 | 0.100 | 0.500 | 43 |
| OTIS Mock AIME 2024–2025 | 数学 | Epoch AI | 0.001 | 1.00 | 45 | 1.376 | 0.635 | 0.100 | 0.500 | 136 |
| Aider Polyglot | コーディング | Aider | 0.000 | 1.00 | 225 | 1.058 | 0.277 | 0.476 | 0.707 | 27 |
| SWE-bench Verified (Epoch AIによる実行) | コーディング | Epoch AI | 0.000 | 1.00 | ≈483 | 0.469 | 0.432 | 0.100 | 0.707 | 31 |
| GPQA Diamond | 知識 | Epoch AI | 0.250 | 1.00 | 198 | 0.751 | 0.654 | 0.100 | 0.577 | 134 |
| GPQA Diamond (OpenRouterによる実行) | 知識 | OpenRouter | 0.250 | 1.00 | 198 | 0.677 | 0.516 | 0.155 | 0.577 | 93 |
| SimpleQA Verified | 知識 | Epoch AI | 0.000 | 1.00 | 1,000 | 0.628 | −1.211 | 0.337 | 0.577 | 79 |
| Berkeley Function Calling Leaderboard | エージェント | UC Berkeley (Gorilla) | 0.000 | 1.00 | 100* | 0.469 | 0.079 | 0.100 | 0.707 | 26 |
| τ²-bench Airline (OpenRouterによる実行) | エージェント | OpenRouter | 0.000 | 1.00 | 50 | 0.407 | 0.290 | 0.100 | 0.707 | 92 |
n: 問題数。≈ = 評価機関の標準誤差から導いた実効数、* = 推定値(件数の公表なし)。「フィットに使用したモデル数」= 前回の較正でパラメータの決定に使われたモデルの数です。
現在、指数に含まれていないもの: Furniture Assembly (基準グループのモデルが3件未満)
GPQA Diamondが2回登場するのは、Epoch AIとOpenRouterが同じ198問を独立して実行したためです。問題セットを共有する結果はファミリーを構成し、まとめて1件の結果として数えます(第5節)。
2. 生のスコアから共通尺度へ
偶然正答率 g、実効上限 c、問題数 n のベンチマークでのスコア s(正答率)について:
p = clip((s − g) / (c − g), 0, 1)
p* = (p·n + 0.5) / (n + 1)
y = ln(p* / (1 − p*))
s* = g + (c − g)·p*
v = s*(1 − s*)·n / ((n + 1)²·(c − g)²·p*²·(1 − p*)²)
p は偶然正答を補正したスコア、p* はそれに連続性補正を施したもの(そのため厳密に0や1になることはありません)、y はそのロジット、v は y の標本分散です。v は、スコアが n 個の独立した問題に対する二項比率であるとしたときの、y のデルタ法による分散です。すなわち、Var(s) ≈ s*(1 − s*)/n に、変換全体の導関数の2乗 (1/(c − g))·(n/(n + 1))·1/(p*(1 − p*)) を掛けたものです。p がクリップされる場合(偶然正答率を下回る、または上限を超えるスコア)は、範囲内の導関数を使います。
ロジットは尺度の上端と下端を引き伸ばすため、95%から99%への上昇は、50%から54%への上昇よりもはるかに大きな進歩として数えられます。これは、それぞれの向上を達成する難しさに見合っています。v は0%と100%の付近で大きくなるため、ほぼ飽和したベンチマークは自動的に重みが小さくなります。
n とは。 n は異なるテスト問題の数であり、同じ問題を何度実行しても増えません。各 n の出どころは上の表に記載しています。ベンチマークの定義(問題数)、評価機関が公開した標準誤差から導いた実効数(n = s(1 − s)/SE²。その標準誤差を与える独立した問題の数)、またはどちらもない場合に明示的に置く100という仮定値のいずれかです。仮定値は安全側の値ではありません。実際の独立した問題数がそれより少ない場合、v と区間は小さすぎ、そのベンチマークの重みは過大になります。複数のサブテストを平均したスコアは1つの二項スコアとして扱いますが、これは近似です。
3. モデルとその較正
変換後の各スコアは次のようにモデル化します。
y = α_b · θ_m + β_b + e, Var(e) = σ_b² + v
ここで e は誤差、θ_m はモデル m の能力、α_b はベンチマーク b が強いモデルと弱いモデルをどれだけはっきり分けるか(負荷量)、β_b はその難しさ、σ_b² は単一の能力では説明できない変動です。これは、Epoch AIのCapabilities Indexでも使われている2パラメータ項目反応モデルを線形化したものです。
較正では、4件以上の対象結果を持つモデルを使い、α、β、σ² を月に1回(毎月1日以降の最初の実行、06:00 UTC)当てはめます。さらに、凍結されたベンチマークが改訂後の値に切り替えられるとき(第8節)にも、日付を問わず当てはめを行います。
- 第1節の条件を満たし、かつ共通の結果でつながっているモデルとベンチマークの最大の集合に属するベンチマークとモデルだけを残します。つながっているだけでは不十分で、共有されるモデルがすべてのベンチマークを1つの共通尺度に結びつけている必要があります。当てはめ後、すべての θ、α、β に関する当てはめ値の導関数のランク検査を行い、基準グループが固定する2つの自由方向(すべての θ の平行移動と伸縮)だけがちょうど残る必要があります。あるベンチマーク群を他と切り離して伸縮できてしまう場合(例:1つのモデルしか共有しない2つのグループ)は、除くことでこれを解消できるベンチマーク(モデル数の少ないものを優先)を除外して較正をやり直します。どのベンチマークを1つ除いても解消できない場合、較正は却下されます。
- 開始値:各ベンチマークで y 値をz得点化し(母集団標準偏差を使用)、各モデルの開始 θ をそのz得点の平均とし、θ を基準グループで標準化します(平均0、母集団標準偏差1)。すべてのベンチマークの開始値は α = 1、β = 0、σ² = 0.25 です。
- どの θ の変化も10⁻¹⁰を超えなくなるまで繰り返します(最大500回)。
- 各ベンチマークで、重み 1/(σ² + v) による y の θ への重み付き最小二乗直線から α と β を求めます(α は0.05未満にはできません)。σ² = max(Σ 残差² / (モデル数 − 2) − mean(v), 0.10) です。
- 各モデルについて、第5節の式から θ を求めます(最後の写像は除く)。
- θ を基準グループで再標準化し、平行移動と伸縮を α と β に織り込みます。
- 最終的な θ で α、β、σ² をもう一度当てはめます。α が0.05に張り付いたベンチマークは除外し、較正をやり直します。
- アフィン写像。 第5節の式にはゼロへの小さな引き寄せ λ が含まれており、尺度がわずかに縮みます。そこで、すべての基準モデルについてこの式を計算し、shift(その平均)と scale(その母集団標準偏差)を公開します。shift を引いて scale で割ることで、較正時点の基準グループはちょうど平均0、標準偏差1になります。較正と較正の間は、基準モデルに新しい結果が加わるとそのスコアが動くため、次の較正までグループの平均は100からわずかにずれます。
- κ(区間の経験的な拡大係数):モデルを5つのフォールドに分けます。当てはめたモデルのスラッグをUnicodeコードポイント順に並べ、0から番号を振り、フォールド = 番号 mod 5 とします。各フォールドについて、そのフォールドのモデルを除き、同じ閾値でステップ1〜5をやり直します。フォールドの基準モデルは、そのフォールドに含まれる基準グループのメンバーとし(最小数の制限なし)、較正に失敗したフォールドはスキップします。そのフォールドで較正されたベンチマークに4件以上の結果を持つ各ホールドアウトモデルについて、その結果ファミリーを(ファミリー名のコードポイント順に)交互に2つの半分AとBに分けます。各半分には少なくとも2件の結果が必要です。両方の標準誤差で κ = 1 として、z = (θ_A − θ_B) / √(SE_A² + SE_B²) を計算します。κ = (|z| の90パーセンタイル、最近順位法) / 1.644854 とし、1を下回ることはありません。成功したフォールドが3未満、またはペアが30未満の場合、κ は決まらず、較正は却下されます。
較正は、実行時点で受け入れられている結果を使用します。収束しない、非有限値が生じる、ランク検査に失敗する、または固定された基準グループ(第4節)のいずれかのモデルが当てはめの対象に含まれていない場合は却下され、前回の較正が引き続き有効になります。基準グループが、たまたま利用可能なメンバーに黙って置き換えられることはありません。再較正(月次、または凍結されたベンチマークの切り替え時)は、ベンチマークが指数から外れる場合、ランク付けされたモデルの数が10%を超えて変わる場合、またはスコアが想定以上に動く場合(順位相関が0.95未満、または変化の中央値が3ポイント超)にも却下されます。こうした再較正でベンチマークが加わることができるのは、すでに設定済みで、以前は結果を持つモデルが少なすぎたことだけを理由に除外されていた場合に限ります。その他の構造的な変更には新しいメジャーバージョンのメソッドが必要で、以前の各メジャーバージョンの最後の指数は /data/archive/ から引き続きダウンロードできます。
較正と較正の間はパラメータが固定されます。新しいモデルや新しいスコアは固定されたパラメータで採点されるため、モデルを追加しても他のモデルのSI-IQが変わることはありません。同じ入力を再度処理すれば、すべての結果は同一になります。乱数はどこにも使っていません。
| 指標 | 値 |
|---|---|
| λ | 0.10 |
| κ | 1.0000 |
| shift | 0.004024 |
| scale | 0.994832 |
| σ²の下限 | 0.10 |
| 基準グループのモデル数 | 44 |
| 較正に使用したモデル数 | 138 |
| 手法のバージョン | 1.0.0 |
| 最終較正日 | 2026年10月18日 |
4. 基準グループ(100の意味)
基準グループは固定されたモデルのリストで、2025年に公開され、最初の較正時点で十分な独立データがあったモデルです。2025年に公開されたすべてのモデルではなく、評価機関が選んでテストした、よく知られたモデルに偏っています。リストが変わるのはメジャーなメソッドバージョンのときのみです(年1回まで、変換表を公開します)。現在の基準グループ:
Claude 3.7 Sonnet, Claude Haiku 4.5, Claude Opus 4, Claude Opus 4.1, Claude Opus 4.5, Claude Sonnet 4, Claude Sonnet 4.5, DeepSeek-R1, DeepSeek-R1 (May 2025), DeepSeek-V3.2-Exp, DeepSeek-V3 (Mar 2025), Gemini 2.5 Pro (Jun 2025), Gemini 3 Flash, Gemini 3 Pro, Gemma 3 12B, Gemma 3 27B, Gemma 3 4B, GLM-4.7, GPT-4.1, GPT-4.1 mini, GPT-4.1 nano, GPT-5, GPT-5.1, GPT-5.2, GPT-5 mini, GPT-5 nano, gpt-oss-120b, gpt-oss-20b, Grok 3, Grok-3 mini, Grok 4, Llama 4 Maverick, Llama 4 Scout, Mistral Medium 3, o3, o3-mini, o4-mini, Qwen2.5-Max, Qwen3-14B, Qwen3-235B-A22B-Thinking (Jul 2025), Qwen3-30B-A3B, Qwen3-30B-A3B-Instruct (Jul 2025), Qwen3-32B, Qwen3-Max
一部のベンチマークには人間のベースラインがありますが、母集団が異なり、共通の人間の尺度を定めるには対象のベンチマークが少なすぎます。そのためSI-IQは、人間のIQについては何も主張しません。
5. モデルのSI-IQ:検算できる式
公開されているパラメータを使うと、各モデルの能力はその結果の閉形式の重み付き平均になります。
f_b = 1 / F_b
w_b = ω_b · f_b / (σ_b² + v_b)
D = λ + Σ w_b·α_b²
θ₀ = Σ w_b·α_b·(y_b − β_b) / D
θ = (θ₀ − shift) / scale
SE = κ · √(Σ w_b²·α_b²·(σ_b² + v_b)) / D / scale
SI-IQ = 100 + 15·θ
SI-IQ_low = 100 + 15·(θ − 1.644854·SE)
SI-IQ_high = 100 + 15·(θ + 1.644854·SE)
- F_b は、このモデルの結果のうち b と同じファミリーに属するものの数です。90%区間は SI-IQ_low から SI-IQ_high までです。
- ω_b = 1/√K です。K は同じ領域(知識、数学、推論、コーディング、エージェント)にある指数のベンチマークの数で、ベンチマークの多い領域が支配的にならないようにするためのものです。
- λ = 0.1 は、データが非常に少ないモデルを中央へごくわずかに引き寄せます。
- SE はサンドイッチ標準誤差で、重みが単純な逆分散でない場合でも有効です。ファミリーの規則を除いてモデルの結果を互いに独立として扱い、較正されたパラメータの不確実性は含みません(第9節を参照)。
- 丸め: すべての比較は完全な精度で行います。表示値はPythonの
round()で最も近い整数に丸めます(ちょうど半分の場合は偶数側)。区間の両端も同じ方法で、それぞれ別々に丸めます。
計算例(数値はすべて現在のデータによるもの):
現在最上位のGPT-6 Astraについて、計算の全過程を示します。
| ベンチマーク | s | p | p* | y | v | f | w | w·α·(y−β) | w·α² | w²·α²·(σ²+v) |
|---|---|---|---|---|---|---|---|---|---|---|
| Chess Puzzles | 74.00% | 0.7264 | 0.7242 | 0.9653 | 0.0526 | 1.00 | 4.6333 | 17.3281 | 5.3798 | 3.8041 |
| Mystery Game Puzzles | 84.00% | 0.8237 | 0.8205 | 1.5200 | 0.0748 | 1.00 | 4.0449 | 21.2522 | 5.3927 | 3.8132 |
| FrontierMath Tier 4 | 97.60% | 0.9760 | 0.9647 | 3.3070 | 0.6819 | 1.00 | 0.6395 | 11.9011 | 3.4397 | 1.7199 |
| FrontierMath Tiers 1–3 | 93.68% | 0.9368 | 0.9353 | 2.6713 | 0.0576 | 1.00 | 3.1728 | 21.9951 | 7.1217 | 3.5608 |
| OTIS Mock AIME 2024–2025 | 100.00% | 1.0000 | 0.9891 | 4.5109 | 1.9800 | 1.00 | 0.2404 | 1.2821 | 0.4551 | 0.2276 |
| GPQA Diamond | 95.77% | 0.9436 | 0.9414 | 2.7762 | 0.1227 | 0.50 | 1.2964 | 2.0677 | 0.7321 | 0.2113 |
| GPQA Diamond (OpenRouterによる実行) | 94.73% | 0.9297 | 0.9275 | 2.5490 | 0.1011 | 0.50 | 1.1288 | 1.5531 | 0.5170 | 0.1493 |
| SimpleQA Verified | 75.60% | 0.7560 | 0.7557 | 1.1295 | 0.0054 | 1.00 | 1.6845 | 2.4743 | 0.6637 | 0.3832 |
| τ²-bench Airline (OpenRouterによる実行) | 67.67% | 0.6767 | 0.6732 | 0.7227 | 0.0874 | 1.00 | 3.7737 | 0.6643 | 0.6236 | 0.4410 |
D = 0.10 + 24.3255 = 24.4255 θ₀ = 80.5180 / 24.4255 = 3.2965 θ = (3.2965 − 0.004024) / 0.994832 = 3.3096 SE = 1.0000 × √14.3103 / 24.4255 / 0.994832 = 0.1557 SI-IQ = 100 + 15 × 3.3096 = 149.64 → 150 90% = 145.8 … 153.5
6. 領域別の能力
領域スコア(知識、数学、推論、コーディング、エージェント)には、その領域のベンチマークに限定した同じ式を使い、1単位の重みでモデル全体の未写像の能力 θ₀ へ引き寄せます。
θ_d,0 = (Σ_d w·α·(y − β) + 1·θ₀) / (Σ_d w·α² + 1)
θ_d = (θ_d,0 − shift) / scale
SI-IQ_d = 100 + 15·θ_d
(d は領域を表し、Σ_d はその領域の結果についての和です。)
その標準誤差と90%区間には、θ₀ を既知として扱い、その領域の結果に対して同じサンドイッチ形式を用います。
SE_d = κ · √(Σ_d w²·α²·(σ² + v)) / (Σ_d w·α² + 1) / scale
領域スコアは、モデルがその領域で少なくとも2つの異なるファミリーの結果を持つ場合にのみ表示されます。
7. ランク付けされる条件
モデルは、結果が少なくとも5つのベンチマークファミリーにわたり、少なくとも3つの領域をカバーし、少なくとも2つの異なる評価機関によるもので、かつバージョンの間隔が60日以内の場合にランク付けされます。それ以外のモデルは、暫定スコアのみで順位なしの「データ不足」に分類されます。ランク付けされたモデルは θ の順に並べます(同値の場合はスラッグ順)。各モデルのページには順位の範囲も表示されます。最良順位は、区間がこのモデルの区間より完全に上にあるランク付け済みモデルの数に1を足したものです。最悪順位は、区間の上端がこのモデルの区間の下端以上であるランク付け済みモデルの数です。これはどの区間が重なるかを示すもので、確率でも有意性検定でもありません。順位の範囲が重なる2つのモデルでも、区間自体は重ならないことがあります。
8. 更新と検証
- すべての情報源を、条件付きリクエストで1時間ごとに確認します。OpenRouterはマニフェストと、そこで指定された日付付きの不変ファイルを通じて読み取り、SHA-256で検証します。GitHubでホストされているファイルは、正確なコミットにリンクします。解析したベンチマーク結果ファイルは、内容の異なるものをすべてアーカイブします。
- 新規または変更された各数値は、このサイトのテキストを書いたモデルとは別のファミリーのAIモデルが、情報源の行(列見出しを含む)から読み直します。このモデルは、モデル、ベンチマーク、数値、モデルの同一性を確認しなければなりません。検証サービスが利用できない場合は更新全体を停止し、前のバージョンが公開されたままになります。
- 10ポイントを超えて変化したスコア、またはモデルの他の結果から予測される値から大きく外れた新規または変更された結果(標準偏差の4倍超。変更された結果は、以前の値がそうでなかった場合に限ります)は、後の情報源スナップショットで確認されるまで保留されます。確認とは、少なくとも6時間前に見た直近の異なるスナップショットが、現在の値との差0.02以内ですでにその値を示していたこと(OpenRouterなど一部の情報源は平均値を毎日再計算します。その場合は最新の値を公開します)、またはもう一方のGPQA Diamondの実行がそれを裏付けることです。待つだけで解除されることはありません。以前ランク付けされていなかった(新規、またはデータ不足として掲載されていた)モデルが、現在のトップを5ポイントを超えて上回るスコアになる場合は、以前に公開された状態(新規モデルの場合は何もなし)を維持します。その新規または変更された結果は、そのすべてが確認され(最初に現れてから少なくとも6時間後に情報源がまだそれを掲載しており、かつ少なくとも6時間前に見た直近の異なるスナップショットが差0.02以内ですでにそれを示していること。値は最新のものを使用します)、かつモデルのスコアが3ポイント以内で変わっていない場合にのみ公開されます。別の情報源の更新はカウントしません。
- 情報源の形式が変わった場合や、行(または1つのベンチマークの行)の30%超が突然失われた場合は、最後の正常なデータを保持し、障害を /status.json に表示して、その情報源からは何も更新しません。1つのベンチマークの定義(スコア列、尺度、偶然正答率、上限、問題数)が変わった場合は、人が変更を確認するまでそのベンチマークだけが凍結され(下記参照)、その情報源の他のベンチマークは更新され続けます。縮小したファイルを新しい通常状態として受け入れるのは、当方のパーサーがファイルの行のうち以前と同じ割合を引き続き保持していて(つまり行は上流で削除されたのであり、当方で失われたのではない)、かつその後24時間に解析されたすべてのファイルが同様に小さかった場合に限ります。この割合の低下が自動的に受け入れられることはありません。OpenRouterの90日の期間やアーカイブされた情報源から期限切れで外れた結果は、最後の値を保持します。Epoch AIによって削除された結果は、6時間後にここでも削除されます。情報源の名前が別のモデルに再照合された場合、古い照合は直ちに削除されます。アーカイブされた情報源や履歴曲線からも削除されます。
- ベンチマークの改訂。 多数の既存の結果が一度に再採点された場合、通常はベンチマーク自体が変わった(新しい問題、新しい採点器)ことを意味します。1つのベンチマークの既存の結果のうち少なくとも5件、かつ4分の1以上が、1回の情報源スナップショットで0.5ポイントを超えて変化した場合、そのベンチマークは凍結されます。公開値は従来のまま維持され、新規または変更された値は使用されません。変更されたすべての値が別ファミリーのモデルによる検証を通過し、上記と同じ方法で後のスナップショットによって確認された時点で、そのベンチマークは再較正とともに1回で新しい値に切り替えられます。ただし、その再較正がすべての検査に合格する場合に限ります。そうでなければ凍結されたままとなります(失敗した試行は1日後に再試行されます)。情報源が後のスナップショットで既存の結果を(0.5ポイントを超えて)再採点した場合、その結果も同じ改訂の一部となり、同様に確認が必要です。そのため、複数のスナップショットにまたがって届く再採点も1回で切り替えられます。その後のより小さな変化は公開値を維持し、切り替え後に通常どおり検証されます。凍結後に情報源が追加したモデルは切り替えを遅らせません。それらの結果はその後、通常どおり検証されます。検証で最終的に却下された変更値は除外されます(そのモデルはこのベンチマークなしになります)。変更されていない値はそのまま残り、最後の値を保持する情報源で期限切れになった値も残ります。3日経っても切り替えの準備が整わない場合(新しいスナップショットを公開することのないアーカイブされた情報源では常にそうなります)、運営者にアラートが送られ、運営者は確認したうえで現在のスナップショットの値を承認できます。凍結されたベンチマークは /status.json に一覧表示されます。
- 確認されないままの保留値。 最初に保留されてから7日以内にどの新しいスナップショットでも確認されない保留値(アーカイブされた情報源は新しいスナップショットを公開しません)は、後のスナップショットで確認されるか、人が情報源で確認したうえで解除するまで保留されたままとなり、運営者に報告されます。
- 公開前に、サイトを自動で検査します。すべてのページが解析でき、内部リンクと言語の代替ページが解決でき、/data/index.json のすべてのSI-IQを入力から再計算します。ランク付けされたモデルが消えた場合、または再較正なしに多くのスコアが動いた場合は、公開を停止します。影響を受けるすべてのモデルの入力が変化していて(受け入れ済みで検証済みの情報源の変更)、その状態が1時間ごとの実行6回にわたって続く場合に限り、自動的に再開します。入力が変化していないモデルの変化が自動的に公開されることはありません。
- すべての入力行は、情報源に現れたままの形で、情報源ファイルのアドレスとSHA-256とともに /data/evidence.jsonl で公開しているため、情報源が変更された後でも、読者は各数値を確認できます。
9. 既知の限界
- 1つの数値は違いを隠します。 モデルはますます専門化しています。各モデルのページにある領域スコアとベンチマークごとの表は、モデルがどこで強く、どこで弱いかを示します。
- カバー範囲は均一ではありません。 コーディングやエージェントのタスクについては、再公開可能で独立したベンチマークが少なく、更新が止まっているものもあります。そのため、最近のモデルの多くでそれらの領域スコアがありません。マルチモーダルの領域はまだありません。
- ベンチマークは古くなり、漏洩します。 古いベンチマークは飽和するか、学習データに含まれている可能性があります。ロジット変換は上限付近での影響を減らしますが、汚染を取り除くことはできません。非公開の問題セット(FrontierMathなど)は影響を受けにくくなります。
- 評価機関が違えば、設定も違います。 同じ問題でも、プロンプト、ツール、強度の設定が異なればスコアが変わりえます。当サイトでは、各評価機関の実行を別のベンチマークとして扱います。
- 「最良の公開設定」は、多くの設定でテストされたモデルに有利です。 複数の実行のうちの最良の結果は高くなりやすいためです。
- 開発元の主張は除外しています。 多くの場合、最初に出てくるものですが、開発元が報告する数値は好意的になりやすく、企業間で比較できません。
- 尺度は相対的です。 SI-IQはAIモデル同士を比較するものです。スコア140は、そのモデルがIQ140の人と同等の能力があることを意味しません。
- 区間は条件付きです。 第3節のモデルが正しいことを前提としています。較正されたパラメータの不確実性、ファミリーの規則を超えたモデルの結果間の相関、評価機関がどのモデルをテストするかの選択の影響は含まれません。κ はデータの独立した半分同士が実際にどれだけ食い違うかに応じて区間を広げますが、90%区間が真の値を90%の確率でカバーする保証はありません。
- 仮定の問題数。 n が仮定または実効数である場合(第2節)、そのベンチマークの重みと区間は近似です。
10. データソースとライセンス
| 出典 | ライセンス / 利用条件 | ダウンロードデータ内 | 用途 |
|---|---|---|---|
| Epoch AI Benchmarking Hub | CC BY 4.0 | はい | SI-IQの入力 |
| OpenRouter benchmark datasets | CC BY 4.0 | はい | SI-IQの入力 |
| Aider LLM Leaderboards | Apache-2.0 | はい | SI-IQの入力 |
| Berkeley Function Calling Leaderboard | Apache-2.0 | はい | SI-IQの入力 |
| Arena (formerly LMArena) leaderboard dataset | CC BY 4.0 | はい | 参考表示 |
| LiteLLM model price table | MIT | はい | 価格 |
必要な帰属表示:
- Aider polyglot leaderboard data (Apache-2.0) — https://aider.chat/docs/leaderboards/
- Arena leaderboard dataset on Hugging Face (CC BY 4.0) — https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset
- Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0) — https://gorilla.cs.berkeley.edu/leaderboard.html
- Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0) — https://epoch.ai/benchmarks
- LiteLLM, model_prices_and_context_window.json (MIT) — https://github.com/BerriAI/litellm/blob/main/model_prices_and_context_window.json
- Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter. — https://openrouter.ai/api/v1/datasets/exports/README.md
11. バージョン
メソッドのバージョンは、各モデルのページとすべてのデータファイルに表示されます。パッチバージョンはパラメータを変えずにデータや解析のエラーを修正し、マイナーバージョンは再較正(月次、または凍結されたベンチマークが改訂後の値に切り替わるとき)です。メジャーバージョンは変換、モデル、領域、ベンチマークの構成、または基準グループを変更し、再計算された履歴を伴います。モデルページの履歴曲線は、常に各日のアーカイブされた入力を現在のパラメータで再採点するため、異なる手法が混在することはありません。それらの入力は /data/history.json で公開されており、すべての点を第5節の式で再計算できます。
- 1.0.0(2026年10月18日):最初のバージョン。