自動生成ページです。 AIが自動で作成・翻訳し、ソフトウェアが情報源と照合して確認しています。人間の編集者はいません。SI-IQは公開されているベンチマーク結果から作成した指数であり、IQテストではありません。 仕組み
Llama 3.3 70Bの賢さは?
Llama 3.3 70BはMeta AIのモデルで、2024年12月6日にリリースされました。SI-IQは66(90%区間 61–71)で、3の独立した評価機関によるベンチマーク結果5件から推定しています。 最も得意な分野はエージェント、最も苦手な分野は数学です。
基本情報
- 開発元
- Meta AI
- リリース日
- 2024年12月6日
- 利用形態
- オープンウェイト(制限付きライセンス)
- 使用したベンチマーク
- 3評価機関による5件の結果
分野別の能力(SI-IQ、90%区間)
使用した全ベンチマーク結果
各スコアは、出典が公表したままの1つの値です。Epoch AIでは実行設定のうち最良のもの、OpenRouterでは中央値のホスティング事業者の値(開発元自身のホスティングでテストされた場合はそちら)を用います。「推定SI-IQ」はこの単一の結果が示す能力であり、総合SI-IQはそれらの精度加重平均です。
| ベンチマーク | スコア | 評価機関 | 出典 |
|---|---|---|---|
| MATH Level 5 | 41.6% | Epoch AI | Epoch AI Benchmarking Hub · データファイル |
| OTIS Mock AIME 2024–2025 | 5.1% | Epoch AI | Epoch AI Benchmarking Hub · データファイル |
| GPQA Diamond | 47.4% | Epoch AI | Epoch AI Benchmarking Hub · データファイル |
| GPQA Diamond (OpenRouter run) | 47.5% | OpenRouter | OpenRouter benchmark datasets · データファイル |
| Berkeley Function Calling Leaderboard | 31.9% | UC Berkeley (Gorilla) | Berkeley Function Calling Leaderboard · データファイル |
| τ²-bench Airline (OpenRouter run) | 31.3% | OpenRouter | OpenRouter benchmark datasets · データファイル |
人間の選好(Arena)
人々が2つの匿名の回答を比べて投票するArenaのランキングでは、Llama 3.3 70Bは54,497票に基づき評価値1,318(1,315–1,322)です(公開日 2026年10月15日)。人間の選好はベンチマークで測る能力とは異なる指標であり、SI-IQには含まれません。 Arena (Hugging Face)
SI-IQが近いモデル
| モデル | SI-IQ | |
|---|---|---|
| GPT-4o miniOpenAI | 68 | Llama 3.3 70B vs GPT-4o mini |
| GPT-4o (Nov 2024)OpenAI | 69 | Llama 3.3 70B vs GPT-4o (Nov 2024) |
| GPT-4o (Aug 2024)OpenAI | 73 | Llama 3.3 70B vs GPT-4o (Aug 2024) |
| GPT-4.1 nanoOpenAI | 76 | Llama 3.3 70B vs GPT-4.1 nano |
| Gemma 3 27BGoogle DeepMind | 77 | Llama 3.3 70B vs Gemma 3 27B |
SI-IQの算出方法バージョン 1.0.0 で計算しています。 算出方法の詳細を読む
データソース: Arena leaderboard dataset on Hugging Face (CC BY 4.0); Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0); Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter..