Automatisierte Seite. Automatisch von KI verfasst und übersetzt und per Software mit den Quellen abgeglichen; keine menschliche Redaktion. SI-IQ ist ein Index auf Basis öffentlicher Benchmark-Ergebnisse, kein IQ-Test. So funktioniert es

Wie intelligent ist Gemma 2 27B?

57 SI-IQ · 90-%-Intervall 52–63
Nicht in der Rangliste: zu wenige Daten

Gemma 2 27B ist ein Modell von Google DeepMind, veröffentlicht am 24.06.2024. Der SI-IQ beträgt 57 (90-%-Intervall 52–63), geschätzt aus 3 Benchmark-Ergebnissen von 1 unabhängigen Evaluatoren.

Dieses Modell hat weniger als 5 unabhängige Benchmark-Ergebnisse oder weniger als 2 verschiedene Evaluatoren und wird daher angezeigt, aber nicht in die Rangliste aufgenommen.

Fakten

Entwickler
Google DeepMind
Veröffentlicht
24.06.2024
Zugang
Offene Gewichte (eingeschränkte Lizenz)
Verwendete Benchmarks
3 Ergebnisse von 1 Evaluatoren

Fähigkeiten nach Bereich (SI-IQ, 90-%-Intervall)

6080100120140160Mathematik57

Alle verwendeten Benchmark-Ergebnisse

Jeder Wert ist genau so angegeben, wie ihn die Quelle veröffentlicht hat: bei Epoch AI die beste ihrer Laufeinstellungen, bei OpenRouter der mediane Hosting-Anbieter (das eigene Hosting des Entwicklers, wenn dieses den Test durchgeführt hat). „Implizierter SI-IQ“ ist die Fähigkeit, auf die dieses einzelne Ergebnis hindeutet; der Gesamt-SI-IQ ist ihr präzisionsgewichteter Durchschnitt.

Benchmark Bereich Punktzahl Abgeleiteter SI-IQ Evaluiert von Wie von der Quelle aufgeführt Abgerufen Quelle
MATH Level 5 Mathematik 27,9 % 58 Epoch AI gemma-2-27b-it 18.10.2026 Epoch AI Benchmarking Hub · Datendatei
OTIS Mock AIME 2024–2025 Mathematik 1,4 % 52 Epoch AI gemma-2-27b-it 18.10.2026 Epoch AI Benchmarking Hub · Datendatei
GPQA Diamond Wissen 36,5 % 53 Epoch AI gemma-2-27b-it 18.10.2026 Epoch AI Benchmarking Hub · Datendatei

Menschliche Präferenz (Arena)

In der Arena-Rangliste, in der Nutzer zwischen zwei anonymen Antworten abstimmen, hat Gemma 2 27B eine Bewertung von 1.290 (1.286–1.293) aus 75.754 Stimmen (veröffentlicht am 15.10.2026). Menschliche Präferenz ist ein anderes Maß als die Leistung in Benchmarks und fließt nicht in den SI-IQ ein. Arena (Hugging Face)

Berechnet mit der SI-IQ-Methodenversion 1.0.0. Die vollständige Methodik lesen

Datenquellen: Arena leaderboard dataset on Hugging Face (CC BY 4.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0).