Automatisierte Seite. Automatisch von KI verfasst und übersetzt und per Software mit den Quellen abgeglichen; keine menschliche Redaktion. SI-IQ ist ein Index auf Basis öffentlicher Benchmark-Ergebnisse, kein IQ-Test. So funktioniert es

Wie intelligent ist Gemma 3 12B?

73 SI-IQ · 90-%-Intervall 66–79
Nicht in der Rangliste: zu wenige Daten

Gemma 3 12B ist ein Modell von Google DeepMind, veröffentlicht am 12.03.2025. Der SI-IQ beträgt 73 (90-%-Intervall 66–79), geschätzt aus 4 Benchmark-Ergebnissen von 3 unabhängigen Evaluatoren.

Dieses Modell hat weniger als 5 unabhängige Benchmark-Ergebnisse oder weniger als 2 verschiedene Evaluatoren und wird daher angezeigt, aber nicht in die Rangliste aufgenommen.

Fakten

Entwickler: Google DeepMind
Veröffentlicht: 12.03.2025
Zugang: Offene Gewichte (eingeschränkte Lizenz)
Verwendete Benchmarks: 4 Ergebnisse von 3 Evaluatoren

Fähigkeiten nach Bereich (SI-IQ, 90-%-Intervall)

Alle verwendeten Benchmark-Ergebnisse

Jeder Wert ist genau so angegeben, wie ihn die Quelle veröffentlicht hat: bei Epoch AI die beste ihrer Laufeinstellungen, bei OpenRouter der mediane Hosting-Anbieter (das eigene Hosting des Entwicklers, wenn dieses den Test durchgeführt hat). „Implizierter SI-IQ“ ist die Fähigkeit, auf die dieses einzelne Ergebnis hindeutet; der Gesamt-SI-IQ ist ihr präzisionsgewichteter Durchschnitt.

Benchmark	Bereich	Punktzahl	Abgeleiteter SI-IQ	Evaluiert von	Wie von der Quelle aufgeführt	Abgerufen	Quelle
OTIS Mock AIME 2024–2025	Mathematik	16,7 %	76	Epoch AI	`gemma-3-12b-it`	18.10.2026	Epoch AI Benchmarking Hub · Datendatei
GPQA Diamond	Wissen	39,5 %	58	Epoch AI	`gemma-3-12b-it`	18.10.2026	Epoch AI Benchmarking Hub · Datendatei
GPQA Diamond (OpenRouter run)	Wissen	37,9 %	54	OpenRouter	`google/gemma-3-12b-it` NextBit · median over providers (2 of 2 rows), lower median	18.10.2026	OpenRouter benchmark datasets · Datendatei
Berkeley Function Calling Leaderboard	Agenten	30,4 %	71	UC Berkeley (Gorilla)	`Gemma-3-12b-it (Prompt)`	18.10.2026	Berkeley Function Calling Leaderboard · Datendatei
τ²-bench Airline (OpenRouter run)	Agenten	48,0 %	86	OpenRouter	`google/gemma-3-12b-it` DeepInfra · median over providers (1 of 1 rows)	18.10.2026	OpenRouter benchmark datasets · Datendatei

Menschliche Präferenz (Arena)

In der Arena-Rangliste, in der Nutzer zwischen zwei anonymen Antworten abstimmen, hat Gemma 3 12B eine Bewertung von 1.342 (1.332–1.351) aus 3.829 Stimmen (veröffentlicht am 15.10.2026). Menschliche Präferenz ist ein anderes Maß als die Leistung in Benchmarks und fließt nicht in den SI-IQ ein. Arena (Hugging Face)

Berechnet mit der SI-IQ-Methodenversion 1.0.0. Die vollständige Methodik lesen

Datenquellen: Arena leaderboard dataset on Hugging Face (CC BY 4.0); Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0); Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter..