자동화된 페이지입니다. AI가 자동으로 작성하고 번역했으며 소프트웨어가 출처와 대조해 검증했습니다. 사람 편집자는 없습니다. SI-IQ는 공개 벤치마크 결과로 만든 지수이며 IQ 검사가 아닙니다. 작동 방식
Berkeley Function Calling Leaderboard: AI 모델 결과
Berkeley Function Calling Leaderboard은(는) UC Berkeley (Gorilla)에서 실행하는 에이전트 벤치마크입니다. 당사 데이터에서 41개 모델이 발표된 결과를 가지고 있습니다.
SI-IQ 지수에 포함됩니다(적재량 k = 0.47, 우연 수준 0%).
- 평가 기관
- UC Berkeley (Gorilla)
- 벤치마크 홈페이지
- gorilla.cs.berkeley.edu/leaderboard.html
결과
| 1 | Claude Opus 4.5 Anthropic | 77.5% | 115111–118 | 10 |
| 2 | Claude Sonnet 4.5 Anthropic | 73.2% | 110107–113 | 11 |
| 3 | Gemini 3 Pro Google DeepMind | 72.5% | 122115–130 | 4 데이터 부족 |
| 4 | GLM-4.6오픈 Z.ai (Zhipu AI), Tsinghua University | 72.4% | 117106–128 | 3 데이터 부족 |
| 5 | Claude Haiku 4.5 Anthropic | 68.7% | 10499–108 | 7 |
| 6 | o3 OpenAI | 63.0% | 116113–119 | 10 |
| 7 | Grok 4 xAI | 63.0% | 114107–120 | 4 데이터 부족 |
| 8 | DeepSeek-V3.2-Exp오픈 DeepSeek | 56.7% | 112103–121 | 4 데이터 부족 |
| 9 | Gemini 2.5 Flash (Jun 2025) Google DeepMind | 56.2% | 10291–113 | 3 데이터 부족 |
| 10 | GPT-5.2 OpenAI | 55.9% | 125122–128 | 10 |
| 11 | GPT-5 mini OpenAI | 55.5% | 115112–118 | 11 |
| 12 | GPT-4.1 OpenAI | 54.0% | 9187–94 | 10 |
| 13 | o4-mini OpenAI | 53.2% | 112109–115 | 10 |
| 14 | Qwen3-235B-A22B-Instruct (Jul 2025)오픈 Alibaba | 52.1% | 9685–107 | 3 데이터 부족 |
| 15 | GPT-5 nano OpenAI | 51.5% | 105102–109 | 10 |
| 16 | GPT-4.1 mini OpenAI | 50.5% | 9188–95 | 10 |
| 17 | Qwen3-32B오픈 Alibaba | 48.7% | 9589–100 | 5 |
| 18 | Cohere Command A오픈 Cohere | 46.5% | 9375–112 | 1 데이터 부족 |
| 19 | Qwen3-8B오픈 Alibaba | 42.6% | 9184–97 | 3 데이터 부족 |
| 20 | Qwen3-30B-A3B-Instruct (Jul 2025)오픈 Alibaba | 41.4% | 9186–97 | 4 데이터 부족 |
| 21 | Qwen3-14B오픈 Alibaba | 41.0% | 9387–99 | 4 데이터 부족 |
| 22 | Mistral Large 2 (Nov 2024)오픈 Mistral AI | 38.4% | 7166–76 | 4 데이터 부족 |
| 23 | Mistral Medium 3 Mistral AI | 37.7% | 8681–90 | 4 데이터 부족 |
| 24 | Llama 4 Maverick오픈 Meta AI | 37.3% | 8177–85 | 6 |
| 25 | Mistral Small 3.2오픈 Mistral AI | 37.1% | 8074–87 | 3 데이터 부족 |
| 26 | qwen3-4b-instruct-2507 — | 35.7% | 8579–92 | 3 데이터 부족 |
| 27 | GPT-4.1 nano OpenAI | 33.0% | 7672–80 | 8 |
| 28 | Llama 3.3 70B오픈 Meta AI | 31.9% | 6661–71 | 5 |
| 29 | Gemma 3 12B오픈 Google DeepMind | 30.4% | 7366–79 | 4 데이터 부족 |
| 30 | Gemma 3 27B오픈 Google DeepMind | 29.5% | 7772–81 | 5 |
| 31 | Phi-4오픈 Microsoft Research | 28.8% | 7671–81 | 4 데이터 부족 |
| 32 | Qwen3-1.7B오픈 Alibaba | 28.4% | 6557–73 | 3 데이터 부족 |
| 33 | Llama 4 Scout오픈 Meta AI | 28.1% | 7368–78 | 4 데이터 부족 |
| 34 | Mistral NeMo오픈 Mistral AI | 27.6% | 4741–53 | 3 데이터 부족 |
| 35 | Qwen3-0.6B오픈 Alibaba | 23.9% | 6445–83 | 1 데이터 부족 |
| 36 | Llama 3.2 3B오픈 Meta AI | 21.9% | 6142–80 | 2 데이터 부족 |
| 37 | Gemma 3 4B오픈 Google DeepMind | 19.6% | 6353–73 | 3 데이터 부족 |
| 38 | granite-4.0-350m — | 19.0% | 5337–68 | 3 데이터 부족 |
| 39 | Ministral 8B오픈 Mistral AI | 11.1% | 4741–53 | 3 데이터 부족 |
| 40 | Llama 3.2 1B오픈 Meta AI | 10.8% | 4227–58 | 3 데이터 부족 |
| 41 | Gemma 3 1B오픈 Google DeepMind | 7.2% | 4025–55 | 3 데이터 부족 |
데이터 출처: Aider polyglot leaderboard data (Apache-2.0); Arena leaderboard dataset on Hugging Face (CC BY 4.0); Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0); Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0); API list prices via LiteLLM's price table (MIT); each price links to the developer's pricing page; Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter..