Automatisierte Seite. Automatisch von KI verfasst und übersetzt und per Software mit den Quellen abgeglichen; keine menschliche Redaktion. SI-IQ ist ein Index auf Basis öffentlicher Benchmark-Ergebnisse, kein IQ-Test. So funktioniert es
Wie intelligent ist Mistral Large 2 (Nov 2024)?
Mistral Large 2 (Nov 2024) ist ein Modell von Mistral AI, veröffentlicht am 18.11.2024. Sein SI-IQ beträgt 71 (90-%-Intervall 66–76); die Schätzung stützt sich auf 4 Benchmark-Ergebnisse von 2 Evaluatoren.
Datenstand 18.10.2026 · Methode 1.0.0
Ein Modell wird in die Rangliste aufgenommen, wenn seine Ergebnisse aus mindestens 5 Benchmarks (die beiden Läufe von GPQA Diamond zählen als einer) in mindestens 3 Bereichen von mindestens 2 verschiedenen Evaluatoren stammen und die Veröffentlichungsdaten seiner Versionen höchstens 60 Tage auseinanderliegen. Dieses Modell erfüllt diese Bedingung noch nicht und wird daher mit einer vorläufigen Schätzung angezeigt, aber nicht in die Rangliste aufgenommen.
Fakten
- Entwickler
- Mistral AI
- Veröffentlicht
- 18.11.2024
- Zugang
- Offene Gewichte (nichtkommerzielle Lizenz)
- Verwendete Benchmarks
- 4 Benchmark-Ergebnisse von 2 Evaluatoren
Fähigkeiten nach Bereich (SI-IQ, 90-%-Intervall)
Alle verwendeten Benchmark-Ergebnisse
Jeder Wert ist genau so angegeben, wie ihn die Quelle veröffentlicht hat: bei Epoch AI die beste ihrer Laufeinstellungen, bei OpenRouter der mediane Hosting-Anbieter (das eigene Hosting des Entwicklers, wenn dieses den Test durchgeführt hat). „Implizierter SI-IQ“ ist die Fähigkeit, auf die dieses einzelne Ergebnis hindeutet; der Gesamt-SI-IQ ist ihr präzisionsgewichteter Durchschnitt.
| Benchmark | Punktzahl | Evaluiert von | Quelle |
|---|---|---|---|
| MATH Level 5 | 50,3 % | Epoch AI | Epoch AI Benchmarking Hub · Datendatei |
| OTIS Mock AIME 2024–2025 | 7,8 % | Epoch AI | Epoch AI Benchmarking Hub · Datendatei |
| GPQA Diamond | 51,3 % | Epoch AI | Epoch AI Benchmarking Hub · Datendatei |
| Berkeley Function Calling Leaderboard | 38,4 % | UC Berkeley (Gorilla) | Berkeley Function Calling Leaderboard · Datendatei |
Menschliche Präferenz (Arena)
In der Arena-Rangliste, in der Nutzer zwischen zwei anonymen Antworten abstimmen, hat Mistral Large 2 (Nov 2024) eine Bewertung von 1.306 (1.301–1.310) aus 28.073 Stimmen (veröffentlicht am 15.10.2026). Menschliche Präferenz ist ein anderes Maß als die Leistung in Benchmarks und fließt nicht in den SI-IQ ein. Arena (Hugging Face)
Berechnet mit der SI-IQ-Methodenversion 1.0.0. Die vollständige Methodik lesen
Datenquellen: Arena leaderboard dataset on Hugging Face (CC BY 4.0); Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0) (Lizenzen und Änderungen).