Daten-Downloads
Die von uns berechneten SI-IQ-Werte, Ränge und Parameter dürfen unter der Lizenz CC BY 4.0 frei weiterverwendet werden; nennen Sie als Quelle „IQ of SI (iqofsi.com)“. Die eingehenden Scores bleiben unter den jeweiligen Lizenzen ihrer Quellen (CC BY 4.0, Apache-2.0 oder MIT): Jeder Datensatz in scores.json nennt seine Quelle und Lizenz, und /data/LICENSES.md listet die Quellenangaben, die von uns vorgenommenen Änderungen und die Lizenztexte auf. Behalten Sie diese bei, wenn Sie die Daten weitergeben.
| Datei | Inhalt |
|---|---|
| /data/models.json · CSV | Alle Modelle: SI-IQ, 90-%-Intervall, Rang, Bereichswerte, Entwickler, Veröffentlichungsdatum, Offenheit, Preis. |
| /data/scores.json · CSV | Alle Eingangswerte mit Evaluator, Quelldatei, Verifizierungslink und Abrufzeit. |
| /data/index.json | Alles, was zur Neuberechnung des SI-IQ nötig ist: Parameter, Referenzgruppe, Eingangswerte und Zwischenwerte. |
| /data/evidence.jsonl | Jede Eingabezeile genau so, wie ihre Quelle sie veröffentlicht hat, mit der Adresse der Quelldatei und SHA-256. |
| /data/history.json | Die täglichen Eingaben hinter den Verlaufskurven, sodass jeder Punkt mit den aktuellen Parametern neu berechnet werden kann. |
| /data/LICENSES.md | Lizenzen, erforderliche Namensnennungen und unsere vorgenommenen Änderungen, pro Quelle. |
| /data/compare.json | Kompakte Daten für das Vergleichstool. |
| /status.json | Wann die Daten zuletzt geprüft und geändert wurden und welche Quellen funktionieren. |
SI-IQ selbst neu berechnen
/data/index.json enthält die Methodenversion, alle Benchmark-Parameter (α, β, σ², ω, Familie, Zufallsniveau, Obergrenze, Anzahl der Fragen), die Konstanten λ und κ, die affine Abbildung (Verschiebung, Skalierung), die Referenzgruppe sowie für jedes Modell jeden eingehenden Score mit Quell-URL, SHA-256 der Quelldatei, Abrufzeitpunkt und Evaluierungsdatum, dazu die Zwischenwerte p, p*, y, v, den Familienfaktor f und das Gewicht w. /data/evidence.jsonl enthält pro Eingabe eine Zeile mit der Quellzeile in der veröffentlichten Form. Die Formeln stehen in der Datei selbst und auf der Methodikseite. Wenn Sie den SI-IQ eines beliebigen Modells aus dieser Datei neu berechnen, erhalten Sie den veröffentlichten Wert.
Quellen
- Aider polyglot leaderboard data (Apache-2.0) — https://aider.chat/docs/leaderboards/
- Arena leaderboard dataset on Hugging Face (CC BY 4.0) — https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset
- Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0) — https://gorilla.cs.berkeley.edu/leaderboard.html
- Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0) — https://epoch.ai/benchmarks
- API list prices via LiteLLM's price table (MIT); each price links to the developer's pricing page — https://github.com/BerriAI/litellm/blob/main/model_prices_and_context_window.json
- Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter. — https://openrouter.ai/api/v1/datasets/exports/README.md
Die Datendateien werden stündlich aktualisiert. /status.json zeigt, wann die Daten zuletzt geprüft und zuletzt geändert wurden und ob eine Quelle ausgefallen ist.