Wie der SI-IQ berechnet wird

Zuletzt aktualisiert: 18.10.2026

Der SI-IQ ist ein statistischer Index. Er ordnet KI-Modelle auf einer einzigen Fähigkeitsskala ein, und zwar anhand von Ergebnissen, die unabhängige Evaluatoren auf öffentlichen Benchmarks veröffentlicht haben, und er drückt diese Skala wie einen IQ-Wert aus: 100 ist der Durchschnitt einer festen Referenzgruppe von KI-Modellen, die 2025 veröffentlicht wurden, und 15 Punkte entsprechen einer Standardabweichung dieser Gruppe (die Gruppe ist in Abschnitt 4 aufgeführt). Er ist kein IQ-Test, er prüft Modelle nicht mit IQ-Fragen, und er lässt sich nicht mit menschlichen IQ-Werten vergleichen.

Diese Seite beschreibt die Methode vollständig. Alles, was nötig ist, um jede veröffentlichte Zahl neu zu berechnen, steht in /data/index.json; das Rechenbeispiel in Abschnitt 5 zeigt die Rechnung für ein Modell.

1. Welche Ergebnisse zählen

Ein Benchmark wird nur verwendet, wenn alle folgenden Bedingungen erfüllt sind:

1. Unabhängige Evaluierung. Die Scores stammen von einem Evaluator, der nicht der Entwickler des Modells ist (zum Beispiel die eigenen Evaluierungsläufe von Epoch AI). Zahlen, die Entwickler über ihre eigenen Modelle angeben, werden nie verwendet.
2. Weiterveröffentlichbare Daten. Die Lizenz des Evaluators erlaubt uns, die Zahlen weiterzuveröffentlichen, sodass jeder alle Eingabedaten herunterladen und den Index neu berechnen kann. Ergebnisse, deren Bedingungen eine Weiterveröffentlichung verbieten oder die unter einer nicht-kommerziellen Lizenz stehen, werden nicht verwendet.
3. Genügend Überschneidung. Zum Zeitpunkt der Kalibrierung haben mindestens 10 Modelle mit jeweils mindestens 4 Ergebnissen ein Ergebnis auf dem Benchmark, mindestens 3 davon aus der Referenzgruppe, und der Benchmark ist über gemeinsame Modelle mit den übrigen Daten verbunden.
4. Er misst Fähigkeit. Die Scores müssen mit der Gesamtfähigkeit steigen; ein Benchmark, dessen geschätzte Ladung nicht positiv ist, wird entfernt.

Welcher Score eines Modells. Hat ein Evaluator ein Modell in mehreren Einstellungen ausgeführt (Reasoning-Aufwand, Denkbudget), nehmen wir den besten Score, den er für dieses Modell auf diesem Benchmark veröffentlicht hat. Höhere Produktstufen, die als eigene Angebote verkauft werden (zum Beispiel ein „Pro“-Modus), gelten nicht als Einstellung des Basismodells. Bei OpenRouter, das jedes Modell über mehrere Hosting-Anbieter ausführt, nehmen wir die Anbieter, deren Läufe im Durchschnitt mindestens 95 % der Fragen abgedeckt haben (insgesamt bearbeitete Fragen geteilt durch die Anzahl der Läufe) – nur das eigene Hosting des Entwicklers, falls es darunter ist –, und verwenden den Anbieter mit dem Medianwert; bei einer geraden Anzahl nehmen wir den niedrigeren der beiden mittleren Werte, sodass die verwendete Zahl immer genau das Ergebnis eines einzelnen Anbieters ist, so wie es veröffentlicht wurde.

Welches Modell. Modelle werden anhand der Modellgruppen von Epoch AI identifiziert. Eine Modellversion wird nur verwendet, wenn sie im Produkttyp zu ihrer Gruppe passt (eine „VL“-, „Mini“- oder „Pro“-Version, die unter einer anderen Gruppe geführt wird, bleibt außen vor). Namen aus anderen Quellen werden exakt zugeordnet – nach dem Entfernen expliziter Suffixe für Laufeinstellungen wie „(high)“ – und nur dann, wenn Versionsnummern und Produktbezeichnungen übereinstimmen; Namen, die wir nicht mit Sicherheit zuordnen können, warten, bis sie bestätigt sind, und erhalten in der Zwischenzeit nie einen Rang. Stammen die für ein Modell verwendeten Ergebnisse von Versionen, die mehr als 60 Tage auseinander veröffentlicht wurden, wird das Modell angezeigt, erhält aber keinen Rang.

Die derzeit im Index enthaltenen Benchmarks mit ihren Parametern:

n: Anzahl der Fragen. ≈ = effektive Anzahl, abgeleitet aus den Standardfehlern des Evaluators; * = angenommen (keine Anzahl veröffentlicht). „Modelle im Fit“ = Modelle, deren Ergebnisse bei der letzten Kalibrierung die Parameter festgelegt haben.

Derzeit nicht im Index: Furniture Assembly (fewer than 3 reference-group models)

GPQA Diamond erscheint zweimal, weil Epoch AI und OpenRouter dieselben 198 Fragen unabhängig voneinander ausgeführt haben. Ergebnisse mit demselben Fragensatz bilden eine Familie und zählen zusammen als ein Ergebnis (Abschnitt 5).

2. Vom Rohwert zu einer gemeinsamen Skala

Für einen Score s (Anteil richtiger Antworten) auf einem Benchmark mit Zufallsniveau g, effektiver Obergrenze c und n Fragen:

p   = clip((s − g) / (c − g), 0, 1)
p*  = (p·n + 0.5) / (n + 1)
y   = ln(p* / (1 − p*))
s*  = g + (c − g)·p*
v   = s*(1 − s*)·n / ((n + 1)²·(c − g)²·p*²·(1 − p*)²)

p ist der zufallskorrigierte Score, p* derselbe Wert mit einer Stetigkeitskorrektur (damit er nie genau 0 oder 1 ist), y dessen Logit und v die Stichprobenvarianz von y. v ist die Varianz von y nach der Delta-Methode für einen Score, der ein binomialer Anteil über n unabhängige Fragen ist: Var(s) ≈ s*(1 − s*)/n, multipliziert mit der quadrierten Ableitung der gesamten Transformation, (1/(c − g))·(n/(n + 1))·1/(p*(1 − p*)). Wird p abgeschnitten (ein Score unter dem Zufallsniveau oder über der Obergrenze), wird die Ableitung innerhalb des Bereichs verwendet.

Die Logit-Transformation streckt das obere und das untere Ende der Skala, sodass ein Anstieg von 95 % auf 99 % als deutlich größerer Fortschritt zählt als einer von 50 % auf 54 %, was dem entspricht, wie schwer diese Zugewinne zu erreichen sind. Da v nahe 0 % und 100 % wächst, erhalten nahezu gesättigte Benchmarks automatisch weniger Gewicht.

Was n ist. n zählt verschiedene Testfragen; dieselben Fragen mehrmals auszuführen erhöht es nicht. Die Tabelle oben gibt an, woher jedes n stammt: aus der Definition des Benchmarks (der Anzahl der Fragen), aus einer effektiven Anzahl, die aus den vom Evaluator veröffentlichten Standardfehlern abgeleitet wird (n = s(1 − s)/SE², die Anzahl unabhängiger Fragen, die diesen Standardfehler ergeben würde), oder aus einer ausdrücklich angegebenen Annahme von 100, wenn es beides nicht gibt. Eine Annahme ist keine sichere Schranke: Ist die tatsächliche Zahl unabhängiger Fragen kleiner, sind v und das Intervall zu klein, und der Benchmark erhält zu viel Gewicht. Scores, die mehrere Untertests mitteln, werden als ein einziger binomialer Score behandelt, was eine Näherung ist.

3. Das Modell und seine Kalibrierung

Jeder transformierte Score wird modelliert als

y = α_b · θ_m + β_b + e,      Var(e) = σ_b² + v

wobei e der Fehler ist, θ_m die Fähigkeit von Modell m, α_b angibt, wie stark Benchmark b stärkere von schwächeren Modellen trennt (seine Ladung), β_b seine Schwierigkeit festlegt und σ_b² die Variation ist, die eine einzelne Fähigkeit nicht erklärt. Dies ist eine linearisierte Version des Item-Response-Modells mit zwei Parametern, das auch der Capabilities Index von Epoch AI verwendet.

Die Kalibrierung schätzt α, β und σ² einmal im Monat (erster Lauf am oder nach dem 1., 06:00 UTC) – und zusätzlich an jedem beliebigen Tag, wenn ein eingefrorener Benchmark auf revidierte Werte umgestellt wird (Abschnitt 8) – anhand der Modelle mit mindestens vier zulässigen Ergebnissen:

1. Es werden nur Benchmarks und Modelle behalten, die Abschnitt 1 erfüllen, und nur die größte Gruppe von Modellen und Benchmarks, die über gemeinsame Ergebnisse verbunden sind. Verbunden zu sein reicht nicht: Die gemeinsamen Modelle müssen jeden Benchmark an eine gemeinsame Skala binden. Nach der Schätzung muss eine Rangprüfung der Ableitungen der geschätzten Werte nach allen θ, α und β genau die zwei freien Richtungen übrig lassen, die die Referenzgruppe festlegt (gemeinsames Verschieben und Strecken aller θ). Ließe sich eine Gruppe von Benchmarks gegenüber dem Rest strecken – zum Beispiel zwei Gruppen, die nur ein Modell gemeinsam haben –, wird der Benchmark entfernt, dessen Entfernung das behebt (zuerst der mit den wenigsten Modellen), und die Kalibrierung beginnt von vorn; behebt kein einzelner Benchmark das Problem, wird die Kalibrierung verworfen.
2. Start: Für jeden Benchmark werden seine y-Werte in z-Werte umgerechnet (Populations-Standardabweichung); das Start-θ jedes Modells ist der Mittelwert seiner z-Werte; θ wird an der Referenzgruppe standardisiert (Mittelwert 0, Populations-Standardabweichung 1). Startwerte für jeden Benchmark: α = 1, β = 0, σ² = 0.25.
3. Folgendes wird wiederholt, bis sich kein θ um mehr als 10⁻¹⁰ ändert (höchstens 500 Runden):
   • Für jeden Benchmark liefert eine gewichtete Kleinste-Quadrate-Gerade von y auf θ mit den Gewichten 1/(σ² + v) die Werte α und β (α darf nicht unter 0,05 fallen); σ² = max(Σ Residuum² / (Anzahl der Modelle − 2) − Mittelwert(v), 0.10);
   • für jedes Modell θ aus der Formel in Abschnitt 5 (ohne die abschließende Abbildung);
   • θ wird an der Referenzgruppe neu standardisiert, und Verschiebung und Skalierung werden in α und β eingerechnet.
4. α, β und σ² werden mit den endgültigen θ noch einmal geschätzt. Ein Benchmark, dessen α bei 0,05 liegt, wird entfernt, und die Kalibrierung beginnt von vorn.
5. Affine Abbildung. Die Formel aus Abschnitt 5 enthält einen kleinen Zug λ in Richtung null, der die Skala leicht staucht. Deshalb berechnen wir sie für jedes Referenzmodell und veröffentlichen shift (den Mittelwert dieser Ergebnisse) und scale (deren Populations-Standardabweichung); das Abziehen von shift und das Teilen durch scale bringt die Referenzgruppe zum Zeitpunkt der Kalibrierung auf genau Mittelwert 0 und Standardabweichung 1. Zwischen den Kalibrierungen verändern sich die Werte der Referenzmodelle, wenn sie neue Ergebnisse erhalten, sodass der Mittelwert der Gruppe bis zur nächsten Kalibrierung leicht von 100 abweicht.
6. κ (ein empirischer Verbreiterungsfaktor für die Intervalle): Die Modelle werden in 5 Folds aufgeteilt: Die Slugs der geschätzten Modelle werden nach Unicode-Codepunkt sortiert und ab 0 nummeriert, und Fold = Nummer mod 5. Für jeden Fold werden die Schritte 1–5 ohne die Modelle dieses Folds und mit denselben Schwellenwerten erneut ausgeführt; die Referenzmodelle des Folds sind die Mitglieder der Referenzgruppe, die er enthält (keine Mindestanzahl), und ein Fold, dessen Kalibrierung fehlschlägt, wird übersprungen. Für jedes ausgelassene Modell mit mindestens 4 Ergebnissen auf den kalibrierten Benchmarks des Folds werden seine Ergebnisfamilien abwechselnd (in Codepunkt-Reihenfolge der Familiennamen) auf zwei Hälften A und B aufgeteilt – jede Hälfte braucht mindestens 2 Ergebnisse –, und z = (θ_A − θ_B) / √(SE_A² + SE_B²) wird mit κ = 1 in beiden Standardfehlern berechnet. κ = (das 90. Perzentil von |z| nach der Nearest-Rank-Methode) / 1.644854, und nie kleiner als 1. Bei weniger als 3 erfolgreichen Folds oder weniger als 30 Paaren ist κ unbestimmt, und die Kalibrierung wird verworfen.

Die Kalibrierung verwendet die akzeptierten Ergebnisse zum Zeitpunkt ihres Laufs. Sie wird verworfen – und die vorherige bleibt in Kraft –, wenn sie nicht konvergiert, nicht endliche Werte liefert, die Rangprüfung nicht besteht oder wenn ein Modell der eingefrorenen Referenzgruppe (Abschnitt 4) in der geschätzten Menge fehlt: Die Referenzgruppe wird nie stillschweigend durch die Mitglieder ersetzt, die gerade verfügbar sind. Eine Neukalibrierung (monatlich oder wenn ein eingefrorener Benchmark umgestellt wird) wird außerdem verworfen, wenn ein Benchmark den Index verlassen würde, sich die Zahl der Modelle mit Rang um mehr als 10 % ändern würde oder sich Werte stärker als erwartet verschieben würden (Rangkorrelation unter 0,95 oder Median der Änderung über 3 Punkten). Ein Benchmark darf bei einer solchen Neukalibrierung nur hinzukommen, wenn er bereits konfiguriert ist und zuvor ausschließlich deshalb außen vor blieb, weil zu wenige Modelle Ergebnisse hatten. Andere strukturelle Änderungen erfordern eine neue Hauptversion der Methode; der letzte Index jeder früheren Hauptversion bleibt unter /data/archive/ herunterladbar.

Zwischen den Kalibrierungen sind die Parameter eingefroren: Ein neues Modell oder ein neuer Score wird mit den eingefrorenen Parametern bewertet, sodass das Hinzufügen eines Modells nie den SI-IQ eines anderen Modells verändert. Jedes Ergebnis ist identisch, wenn dieselben Eingaben erneut verarbeitet werden: Es gibt nirgends Zufallszahlen.

4. Die Referenzgruppe (was 100 bedeutet)

Die Referenzgruppe ist eine feste Liste von Modellen: diejenigen, die 2025 veröffentlicht wurden und bei der ersten Kalibrierung genügend unabhängige Daten hatten. Sie umfasst nicht jedes 2025 veröffentlichte Modell – sie tendiert zu bekannten Modellen, die Evaluatoren zum Testen ausgewählt haben. Die Liste ändert sich nur mit einer Hauptversion der Methode (höchstens einmal pro Jahr, mit einer veröffentlichten Umrechnungstabelle). Aktuelle Referenzgruppe:

Claude 3.7 Sonnet, Claude Haiku 4.5, Claude Opus 4, Claude Opus 4.1, Claude Opus 4.5, Claude Sonnet 4, Claude Sonnet 4.5, DeepSeek-R1, DeepSeek-R1 (May 2025), DeepSeek-V3.2-Exp, DeepSeek-V3 (Mar 2025), Gemini 2.5 Pro (Jun 2025), Gemini 3 Flash, Gemini 3 Pro, Gemma 3 12B, Gemma 3 27B, Gemma 3 4B, GLM-4.7, GPT-4.1, GPT-4.1 mini, GPT-4.1 nano, GPT-5, GPT-5.1, GPT-5.2, GPT-5 mini, GPT-5 nano, gpt-oss-120b, gpt-oss-20b, Grok 3, Grok-3 mini, Grok 4, Llama 4 Maverick, Llama 4 Scout, Mistral Medium 3, o3, o3-mini, o4-mini, Qwen2.5-Max, Qwen3-14B, Qwen3-235B-A22B-Thinking (Jul 2025), Qwen3-30B-A3B, Qwen3-30B-A3B-Instruct (Jul 2025), Qwen3-32B, Qwen3-Max

Für einige Benchmarks gibt es menschliche Vergleichswerte, doch sie beruhen auf unterschiedlichen Populationen und decken zu wenige Benchmarks ab, um eine gemeinsame menschliche Skala zu definieren; daher trifft der SI-IQ keine Aussage über den menschlichen IQ.

5. Der SI-IQ eines Modells – die Formel zum Nachprüfen

Mit den veröffentlichten Parametern ist die Fähigkeit jedes Modells ein gewichteter Mittelwert seiner Ergebnisse in geschlossener Form:

f_b   = 1 / F_b
w_b   = ω_b · f_b / (σ_b² + v_b)
D     = λ + Σ w_b·α_b²
θ₀    = Σ w_b·α_b·(y_b − β_b) / D
θ     = (θ₀ − shift) / scale
SE    = κ · √(Σ w_b²·α_b²·(σ_b² + v_b)) / D / scale
SI-IQ      = 100 + 15·θ
SI-IQ_low  = 100 + 15·(θ − 1.644854·SE)
SI-IQ_high = 100 + 15·(θ + 1.644854·SE)

• F_b ist die Anzahl der Ergebnisse dieses Modells in derselben Familie wie b; das 90-%-Intervall reicht von SI-IQ_low bis SI-IQ_high.
• ω_b = 1/√K, wobei K die Anzahl der Index-Benchmarks im selben Bereich ist (Wissen, Mathematik, Schlussfolgern, Programmieren, Agenten), damit ein Bereich mit vielen Benchmarks nicht dominiert.
• λ = 0.1 bewirkt für Modelle mit sehr wenigen Daten einen winzigen Zug zur Mitte.
• SE ist ein Sandwich-Standardfehler: Er bleibt gültig, wenn die Gewichte keine einfachen inversen Varianzen sind. Er behandelt die Ergebnisse eines Modells abgesehen von der Familienregel als unabhängig und enthält nicht die Unsicherheit der kalibrierten Parameter (siehe Abschnitt 9).
• Rundung: Alle Vergleiche erfolgen mit voller Genauigkeit. Angezeigte Werte werden mit Pythons round() auf die nächste ganze Zahl gerundet (genaue Hälften gehen zur geraden Zahl); Intervallgrenzen werden auf dieselbe Weise separat gerundet.

Rechenbeispiel (alle Zahlen aus den aktuellen Daten):

Hier sehen Sie die vollständige Berechnung für GPT-6 Astra, das aktuell am höchsten platzierte Modell.

D     = 0,10 + 24,3255 = 24,4255
θ₀    = 80,5180 / 24,4255 = 3,2965
θ     = (3,2965 − 0,004024) / 0,994832 = 3,3096
SE    = 1,0000 × √14,3103 / 24,4255 / 0,994832 = 0,1557
SI-IQ = 100 + 15 × 3,3096 = 149,64 → 150
90%   = 145,8 … 153,5

6. Fähigkeit nach Bereich

Bereichswerte (Wissen, Mathematik, Schlussfolgern, Programmieren, Agenten) verwenden dieselbe Formel, beschränkt auf die Benchmarks des jeweiligen Bereichs, wobei eine Gewichtseinheit sie zur noch nicht abgebildeten Gesamtfähigkeit θ₀ des Modells hinzieht:

θ_d,0   = (Σ_d w·α·(y − β) + 1·θ₀) / (Σ_d w·α² + 1)
θ_d     = (θ_d,0 − shift) / scale
SI-IQ_d = 100 + 15·θ_d

(d = der Bereich; Σ_d läuft über die Ergebnisse des Bereichs.)

Der Standardfehler und das 90-%-Intervall eines Bereichswerts verwenden dieselbe Sandwich-Form über die Ergebnisse des Bereichs, wobei θ₀ als bekannt behandelt wird:

SE_d = κ · √(Σ_d w²·α²·(σ² + v)) / (Σ_d w·α² + 1) / scale

Ein Bereichswert wird nur angezeigt, wenn das Modell in diesem Bereich Ergebnisse aus mindestens zwei verschiedenen Familien hat.

7. Wer einen Rang erhält

Ein Modell erhält einen Rang, wenn seine Ergebnisse aus mindestens 5 Benchmark-Familien stammen, mindestens 3 Bereiche abdecken, von mindestens 2 verschiedenen Evaluatoren kommen und seine Versionen nicht mehr als 60 Tage auseinanderliegen. Andere Modelle werden unter „zu wenige Daten“ mit einem vorläufigen Wert und ohne Rang aufgeführt. Modelle mit Rang werden nach θ geordnet (bei Gleichstand nach Slug). Jede Modellseite zeigt außerdem einen Rangbereich: Der beste Rang ist 1 + die Anzahl der Modelle mit Rang, deren Intervall vollständig über dem Intervall dieses Modells liegt; der schlechteste ist die Anzahl der Modelle mit Rang, deren obere Grenze mindestens so hoch ist wie die untere Grenze dieses Modells. Er beschreibt, welche Intervalle sich überschneiden; er ist weder eine Wahrscheinlichkeit noch ein Signifikanztest – zwei Modelle, deren Rangbereiche sich überschneiden, können dennoch Intervalle haben, die sich nicht überschneiden.

8. Aktualisierungen und Prüfungen

• Jede Quelle wird stündlich mit bedingten Anfragen geprüft. OpenRouter wird über sein Manifest und die darin genannte unveränderliche, datierte Datei gelesen, verifiziert per SHA-256; auf GitHub gehostete Dateien werden mit dem exakten Commit verlinkt. Jede unterschiedliche Benchmark-Ergebnisdatei, die wir geparst haben, wird archiviert.
• Jede neue oder geänderte Zahl wird von einem KI-Modell aus einer anderen Familie als der des Modells, das die Texte dieser Website geschrieben hat, erneut aus ihrer Quellzeile (mit den Spaltenüberschriften) gelesen; es muss das Modell, den Benchmark, die Zahl und die Modellidentität bestätigen. Ist der Prüfdienst nicht verfügbar, wird die gesamte Aktualisierung angehalten, und die vorherige Version bleibt online.
• Ein Score, der sich um mehr als 10 Punkte ändert, oder ein neues oder geändertes Ergebnis, das weit von dem entfernt liegt, was die übrigen Ergebnisse eines Modells vorhersagen (mehr als 4 Standardabweichungen; bei einem geänderten Ergebnis nur, wenn sein vorheriger Wert nicht so weit entfernt lag), wird zurückgehalten, bis ein späterer Snapshot der Quelle den Wert bestätigt: Der jüngste andere Snapshot, der mindestens sechs Stunden zuvor gesehen wurde, zeigte ihn bereits mit einer Abweichung von höchstens 0.02 vom aktuellen Wert (einige Quellen, etwa OpenRouter, berechnen ihre Durchschnittswerte täglich neu; veröffentlicht wird dann der neueste Wert), oder der andere Lauf von GPQA Diamond bestätigt ihn; bloßes Warten gibt ihn nie frei. Ein Modell, das zuvor keinen Rang hatte (neu oder mit zu wenigen Daten aufgeführt) und nun mehr als 5 Punkte über dem aktuellen Spitzenreiter liegen würde, behält seinen zuvor veröffentlichten Stand (bei einem neuen Modell: nichts), und seine neuen oder geänderten Ergebnisse werden erst veröffentlicht, wenn jedes davon bestätigt ist – mindestens sechs Stunden nach seinem ersten Auftauchen führt seine Quelle es weiterhin auf, und der jüngste andere Snapshot, der mindestens sechs Stunden zuvor gesehen wurde, zeigte es bereits mit einer Abweichung von höchstens 0.02 (verwendet wird der neueste Wert) – und der Wert des Modells innerhalb von 3 Punkten noch derselbe ist. Die Aktualisierung einer anderen Quelle zählt nicht.
• Ändert eine Quelle ihr Format oder verliert sie plötzlich mehr als 30 % ihrer Zeilen – oder der Zeilen eines Benchmarks –, werden ihre letzten gültigen Daten beibehalten, der Fehler wird in /status.json angezeigt, und nichts aus dieser Quelle wird aktualisiert. Ändert sie die Definition eines Benchmarks (Score-Spalte, Skala, Zufallsniveau, Obergrenze, Anzahl der Fragen), wird nur dieser Benchmark eingefroren (siehe unten), bis eine Person die Änderung geprüft hat; die übrigen Benchmarks der Quelle werden weiter aktualisiert. Eine verkleinerte Datei wird nur dann als neuer Normalzustand akzeptiert, wenn unser Parser weiterhin denselben Anteil der Zeilen der Datei behält wie zuvor (die Zeilen also an der Quelle entfernt und nicht von uns verloren wurden) und jede Datei, die in den folgenden 24 Stunden geparst wurde, ebenso klein war; ein Rückgang dieses Anteils wird nie automatisch akzeptiert. Ein Ergebnis, das aus dem 90-Tage-Fenster von OpenRouter oder aus einer archivierten Quelle herausfällt, behält seinen letzten Wert; ein von Epoch AI entferntes Ergebnis wird hier nach sechs Stunden entfernt. Wird ein Quellname einem anderen Modell neu zugeordnet, wird die alte Zuordnung sofort entfernt – auch aus archivierten Quellen und aus Verlaufskurven.
• Benchmark-Revisionen. Werden viele bestehende Ergebnisse auf einmal neu bewertet, bedeutet das meist, dass sich der Benchmark selbst geändert hat (neue Fragen, ein neues Bewertungsverfahren). Ändern sich in einem Snapshot der Quelle mindestens 5 bestehende Ergebnisse eines Benchmarks, und mindestens ein Viertel davon, um mehr als einen halben Punkt, wird der Benchmark eingefroren: Seine veröffentlichten Werte bleiben unverändert, und kein neuer oder geänderter Wert wird verwendet. Der Benchmark wird in einem Schritt zusammen mit einer Neukalibrierung auf die neuen Werte umgestellt, sobald jeder geänderte Wert die familienübergreifende Prüfung bestanden hat und von einem späteren Snapshot auf dieselbe Weise wie oben bestätigt wurde – und nur, wenn diese Neukalibrierung alle ihre Prüfungen besteht; andernfalls bleibt er eingefroren (ein fehlgeschlagener Versuch wird nach einem Tag wiederholt). Ein bestehendes Ergebnis, das die Quelle in einem späteren Snapshot neu bewertet (um mehr als einen halben Punkt), wird Teil derselben Revision und muss ebenfalls bestätigt werden, sodass eine Neubewertung, die über mehrere Snapshots eintrifft, in einem Schritt umgestellt wird; kleinere spätere Änderungen behalten ihren veröffentlichten Wert und werden nach der Umstellung wie üblich geprüft. Modelle, die die Quelle seit dem Einfrieren hinzugefügt hat, halten die Umstellung nicht auf; ihre Ergebnisse werden danach wie üblich geprüft. Ein geänderter Wert, den die Prüfung letztlich ablehnt, bleibt außen vor (dieses Modell bleibt ohne diesen Benchmark). Unveränderte Werte bleiben bestehen; Werte, die aus einer Quelle herausgefallen sind, die letzte Werte beibehält, bleiben ebenfalls bestehen. Ist eine Umstellung nach drei Tagen noch nicht bereit – bei einer archivierten Quelle, die nie einen neueren Snapshot veröffentlicht, ist das immer der Fall –, wird der Betreiber benachrichtigt und kann die Werte des aktuellen Snapshots freigeben, nachdem er sie geprüft hat. Eingefrorene Benchmarks sind in /status.json aufgeführt.
• Zurückgehaltene Werte, die nie bestätigt werden. Ein zurückgehaltener Wert, den kein neuerer Snapshot innerhalb von 7 Tagen nach dem ersten Zurückhalten bestätigt (archivierte Quellen veröffentlichen nie einen), bleibt zurückgehalten, bis ein späterer Snapshot ihn bestätigt oder eine Person ihn nach Prüfung an der Quelle freigibt, und er wird dem Betreiber gemeldet.
• Vor der Veröffentlichung wird die Website automatisch geprüft: Jede Seite lässt sich parsen, interne Links und Verweise auf die anderen Sprachversionen lassen sich auflösen, und jeder SI-IQ in /data/index.json wird aus seinen Eingaben neu berechnet. Verschwinden Modelle mit Rang oder verschieben sich viele Werte ohne Neukalibrierung, wird die Veröffentlichung angehalten. Sie wird nur dann automatisch fortgesetzt, wenn sich die Eingaben jedes betroffenen Modells geändert haben (akzeptierte, geprüfte Änderungen der Quelle) und der Zustand über sechs stündliche Läufe bestehen bleibt; eine Änderung bei einem Modell, dessen Eingaben sich nicht geändert haben, wird nie automatisch veröffentlicht.
• Jede Eingabezeile wird so, wie sie in der Quelle erschien, mit der Adresse und dem SHA-256 der Quelldatei in /data/evidence.jsonl veröffentlicht, sodass Leser jede Zahl auch dann noch prüfen können, wenn sich die Quelle inzwischen geändert hat.

9. Bekannte Einschränkungen

• Eine Zahl verdeckt Unterschiede. Modelle spezialisieren sich zunehmend; die Bereichswerte und die Tabelle pro Benchmark auf jeder Modellseite zeigen, wo ein Modell stärker oder schwächer ist.
• Die Abdeckung ist ungleichmäßig. Für Programmier- und Agentenaufgaben gibt es nur wenige weiterveröffentlichbare, unabhängige Benchmarks, und einige werden nicht mehr aktualisiert, sodass diese Bereichswerte bei den meisten neueren Modellen fehlen. Einen multimodalen Bereich gibt es noch nicht.
• Benchmarks altern und werden geleakt. Ältere Benchmarks sind gesättigt oder könnten in Trainingsdaten aufgetaucht sein. Die Logit-Transformation verringert ihren Einfluss nahe der Obergrenze, kann eine Kontamination aber nicht beseitigen; private Fragensätze (wie FrontierMath) sind weniger exponiert.
• Andere Evaluatoren, andere Setups. Dieselben Fragen können mit anderen Prompts, Tools oder Aufwandseinstellungen andere Scores ergeben; wir führen die Läufe jedes Evaluators als eigenen Benchmark.
• „Beste veröffentlichte Einstellung“ begünstigt Modelle, die in vielen Einstellungen getestet wurden, weil der beste von mehreren Läufen tendenziell höher ausfällt.
• Angaben der Entwickler sind ausgeschlossen, obwohl sie oft als Erste erscheinen; von Entwicklern gemeldete Zahlen fallen tendenziell günstig aus und sind zwischen Unternehmen nicht vergleichbar.
• Die Skala ist relativ. Der SI-IQ vergleicht KI-Modelle untereinander. Ein Wert von 140 bedeutet nicht, dass ein Modell so leistungsfähig ist wie ein Mensch mit einem IQ von 140.
• Die Intervalle sind bedingt. Sie setzen voraus, dass das Modell aus Abschnitt 3 zutrifft. Sie lassen die Unsicherheit der kalibrierten Parameter, Korrelationen zwischen den Ergebnissen eines Modells über die Familienregel hinaus und den Einfluss davon, welche Modelle Evaluatoren zum Testen ausgewählt haben, außer Acht; κ verbreitert sie entsprechend dem Ausmaß, in dem unabhängige Hälften der Daten tatsächlich voneinander abweichen, es gibt aber keine Garantie, dass 90-%-Intervalle den wahren Wert in 90 % der Fälle enthalten.
• Angenommene Fragenzahlen. Wo n eine Annahme oder eine effektive Anzahl ist (Abschnitt 2), sind das Gewicht und das Intervall dieses Benchmarks nur Näherungswerte.

10. Datenquellen und Lizenzen

Erforderliche Quellenangaben:

• Aider polyglot leaderboard data (Apache-2.0) — https://aider.chat/docs/leaderboards/
• Arena leaderboard dataset on Hugging Face (CC BY 4.0) — https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset
• Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0) — https://gorilla.cs.berkeley.edu/leaderboard.html
• Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0) — https://epoch.ai/benchmarks
• API list prices via LiteLLM's price table (MIT); each price links to the developer's pricing page — https://github.com/BerriAI/litellm/blob/main/model_prices_and_context_window.json
• Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter. — https://openrouter.ai/api/v1/datasets/exports/README.md

11. Versionen

Die Methodenversion wird auf jeder Modellseite und in jeder Datendatei angegeben. Patch-Versionen beheben Daten- oder Parsing-Fehler, ohne Parameter zu ändern; Nebenversionen sind Neukalibrierungen (monatlich oder wenn ein eingefrorener Benchmark auf revidierte Werte umgestellt wird); Hauptversionen ändern die Transformation, das Modell, die Bereiche, die Benchmark-Auswahl oder die Referenzgruppe und bringen einen neu berechneten Verlauf mit. Die Verlaufskurven auf den Modellseiten bewerten die archivierten Eingaben jedes Tages stets mit den aktuellen Parametern neu, sodass sie nie Methoden vermischen; diese Eingaben werden in /data/history.json veröffentlicht, sodass sich jeder Punkt mit der Formel aus Abschnitt 5 neu berechnen lässt.

• 1.0.0 (18. Oktober 2026): erste Version.