数据下载
我们计算得出的 SI-IQ 数值、名次和参数可依据 CC BY 4.0 许可协议自由复用,署名请注明“IQ of SI (iqofsi.com)”。输入分数仍适用其来源各自的许可协议(CC BY 4.0、Apache-2.0 或 MIT):scores.json 中的每条记录都注明了来源和许可协议,/data/LICENSES.md 列出了署名信息、我们所做的修改以及许可协议全文。再分发数据时请保留这些内容。
| 文件 | 内容 |
|---|---|
| /data/models.json · CSV | 所有模型:SI-IQ、90% 区间、名次、各领域得分、开发方、发布日期、开放程度、价格。 |
| /data/scores.json · CSV | 所有输入分数,附评测方、来源文件、验证链接和获取时间。 |
| /data/index.json | 重新计算 SI-IQ 所需的全部内容:参数、参照组、输入数据和中间值。 |
| /data/evidence.jsonl | 每一行输入数据均保持来源发布的原样,并附有源文件地址和 SHA-256。 |
| /data/history.json | 历史曲线所依据的每日输入数据,因此每个点都可以用当前参数重新计算。 |
| /data/LICENSES.md | 按来源列出的许可、必要的署名以及我们所做的修改。 |
| /data/compare.json | 对比工具使用的精简数据。 |
| /status.json | 数据最近一次检查和变更的时间,以及哪些数据源运行正常。 |
自行重新计算 SI-IQ
/data/index.json 包含方法版本、每项基准测试的全部参数(α、β、σ²、ω、family、猜测水平、上限、题目数量)、常数 λ 和 κ、仿射映射(平移、缩放)、参照组,以及每个模型的各项输入分数及其来源 URL、来源文件 SHA-256、获取时间和评测日期,另有中间值 p、p*、y、v、family 因子 f 和权重 w。/data/evidence.jsonl 中每个输入占一行,保留来源行的原始发布内容。公式见文件本身以及方法说明页面。依据该文件重新计算任意模型的 SI-IQ,都能复现已发布的数值。
来源
- Aider polyglot leaderboard data (Apache-2.0) — https://aider.chat/docs/leaderboards/
- Arena leaderboard dataset on Hugging Face (CC BY 4.0) — https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset
- Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0) — https://gorilla.cs.berkeley.edu/leaderboard.html
- Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0) — https://epoch.ai/benchmarks
- LiteLLM, model_prices_and_context_window.json (MIT) — https://github.com/BerriAI/litellm/blob/main/model_prices_and_context_window.json
- Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter. — https://openrouter.ai/api/v1/datasets/exports/README.md
数据文件每小时刷新一次。/status.json 显示数据最近一次检查和最近一次变更的时间,以及是否有来源出现故障。