자동화된 페이지입니다. AI가 자동으로 작성하고 번역했으며 소프트웨어가 출처와 대조해 검증했습니다. 사람 편집자는 없습니다. SI-IQ는 공개 벤치마크 결과로 만든 지수이며 IQ 검사가 아닙니다. 작동 방식

Gemma 3 12B은(는) 얼마나 똑똑할까요?

73 SI-IQ · 90% 구간 66–79
순위 없음: 데이터 부족

Gemma 3 12B은(는) Google DeepMind의 모델이며 2025년 3월 12일에 출시되었습니다. SI-IQ는 73이며(90% 구간 66–79), 평가 기관 3곳의 벤치마크 결과 5개로 추정했습니다.

2026년 10월 18일 기준 데이터 · 방법론 1.0.0

모델의 결과가 3개 이상 영역에 걸친 5개 이상의 벤치마크(GPQA Diamond 두 번의 실행은 하나로 계산)에서 나오고, 서로 다른 평가 기관 2곳 이상에서 나왔으며, 각 버전의 출시 간격이 60일 이내이면 순위가 매겨집니다. 이 모델은 아직 이 조건을 충족하지 못해, 잠정 추정치로 표시하지만 순위는 매기지 않습니다.

정보

개발사: Google DeepMind
출시일: 2025년 3월 12일
이용 방식: 오픈 웨이트(제한적 라이선스)
사용된 벤치마크: 평가 기관 3곳의 벤치마크 결과 5개

영역별 능력(SI-IQ, 90% 구간)

사용한 모든 벤치마크 결과

각 점수는 출처가 게시한 값 그대로의 단일 값입니다. Epoch AI는 실행 설정 중 최고값, OpenRouter는 호스팅 제공업체의 중앙값(개발사가 직접 호스팅하여 테스트한 경우에는 해당 호스팅)입니다. “추정 SI-IQ”는 이 단일 결과가 가리키는 능력치이며, 전체 SI-IQ는 이들의 정밀도 가중 평균입니다.

벤치마크	영역	점수	환산 SI-IQ	평가 기관	출처의 표기	수집일	출처
OTIS Mock AIME 2024–2025	수학	16.7%	76	Epoch AI	`gemma-3-12b-it`	2026년 10월 18일	Epoch AI Benchmarking Hub · 데이터 파일
GPQA Diamond	지식	39.5%	58	Epoch AI	`gemma-3-12b-it`	2026년 10월 18일	Epoch AI Benchmarking Hub · 데이터 파일
GPQA Diamond (OpenRouter 실행)	지식	37.9%	54	OpenRouter	`google/gemma-3-12b-it` NextBit · 제공업체 간 중앙값(2행 중 2행), 하위 중앙값	2026년 10월 18일	OpenRouter benchmark datasets · 데이터 파일
Berkeley Function Calling Leaderboard	에이전트	30.4%	71	UC Berkeley (Gorilla)	`Gemma-3-12b-it (Prompt)`	2026년 10월 18일	Berkeley Function Calling Leaderboard · 데이터 파일
τ²-bench Airline (OpenRouter 실행)	에이전트	48.0%	86	OpenRouter	`google/gemma-3-12b-it` DeepInfra · 제공업체 간 중앙값(1행 중 1행)	2026년 10월 18일	OpenRouter benchmark datasets · 데이터 파일

인간 선호도 (Arena)

사용자가 익명의 답변 두 개 중 하나에 투표하는 Arena 순위표에서 Gemma 3 12B은(는) 3,829표를 받아 1,342점(1,332–1,351)을 기록했습니다(게시일 2026년 10월 15일). 인간 선호도는 벤치마크 능력과는 다른 척도이며 SI-IQ에 포함되지 않습니다. Arena (Hugging Face)

SI-IQ 방법론 버전 1.0.0으로 계산했습니다. 전체 방법론 읽기

데이터 출처: Arena leaderboard dataset on Hugging Face (CC BY 4.0); Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0); Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter (라이선스 및 변경 사항).