データのダウンロード
当サイトが算出するSI-IQの値、順位、パラメータは、CC BY 4.0ライセンスのもとで自由に再利用できます。クレジットには「IQ of SI (iqofsi.com)」と記載してください。入力スコアは、引き続き各出典元のライセンス(CC BY 4.0、Apache-2.0、MIT)が適用されます。scores.json の各レコードには出典元とライセンスが明記されており、/data/LICENSES.md には、帰属表示、当サイトが加えた変更、ライセンス本文が記載されています。データを再配布する際は、これらを維持してください。
| ファイル | 内容 |
|---|---|
| /data/models.json · CSV | 全モデル:SI-IQ、90%区間、順位、分野別スコア、開発元、リリース日、公開形態、価格。 |
| /data/scores.json · CSV | すべての入力スコアと、評価機関、出典ファイル、確認用リンク、取得日時。 |
| /data/index.json | SI-IQの再計算に必要なすべての情報:パラメータ、基準グループ、入力値、中間値。 |
| /data/evidence.jsonl | 入力された全行を、出典が公表したままの形で、出典ファイルのアドレスとSHA-256とともに収録しています。 |
| /data/history.json | 推移グラフの元となる日次の入力データです。現行のパラメータで各点を再計算できます。 |
| /data/LICENSES.md | 出典ごとのライセンス、必要な帰属表示、当サイトで行った変更をまとめています。 |
| /data/compare.json | 比較ツールで使用するコンパクトなデータ。 |
| /status.json | データの最終確認日と最終変更日、および稼働中のソース。 |
SI-IQを自分で再計算する
/data/index.json には、メソッドのバージョン、すべてのベンチマークのパラメータ(α、β、σ²、ω、ファミリー、偶然正答率、上限、問題数)、定数λとκ、アフィン変換(シフト、スケール)、基準グループが含まれます。さらに、各モデルについて、入力スコアそのもの、その出典URL、出典ファイルのSHA-256、取得時刻、評価日に加え、中間値p、p*、y、v、ファミリー係数f、重みwも含まれます。/data/evidence.jsonl には、入力ごとに1行ずつ、公開された状態の出典行が収録されています。計算式はファイル内および方法論のページに記載しています。このファイルから任意のモデルのSI-IQを再計算すると、公表値を再現できます。
出典
- Aider polyglot leaderboard data (Apache-2.0) — https://aider.chat/docs/leaderboards/
- Arena leaderboard dataset on Hugging Face (CC BY 4.0) — https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset
- Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0) — https://gorilla.cs.berkeley.edu/leaderboard.html
- Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0) — https://epoch.ai/benchmarks
- API list prices via LiteLLM's price table (MIT); each price links to the developer's pricing page — https://github.com/BerriAI/litellm/blob/main/model_prices_and_context_window.json
- Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter. — https://openrouter.ai/api/v1/datasets/exports/README.md
データファイルは1時間ごとに更新されます。/status.json では、データを最後に確認した日時、最後に変更された日時、出典元で取得に失敗したものがあるかどうかを確認できます。