Cómo se calcula SI-IQ

Última actualización: 18 oct 2026

SI-IQ es un índice estadístico. Sitúa los modelos de IA en una única escala de capacidad a partir de los resultados que evaluadores independientes han publicado en benchmarks públicos, y expresa esa escala como una puntuación de CI: 100 es la media de un grupo de referencia fijo de modelos de IA lanzados en 2025, y 15 puntos equivalen a una desviación estándar de ese grupo (el grupo figura en la sección 4). No es un test de CI, no evalúa a los modelos con preguntas de CI y no puede compararse con las puntuaciones de CI humanas.

Esta página describe el método por completo. Todo lo necesario para recalcular cada número publicado está en /data/index.json; el ejemplo resuelto de la sección 5 muestra los cálculos para un modelo.

1. Qué resultados cuentan

Un benchmark solo se utiliza si se cumplen todas las condiciones siguientes:

1. Evaluación independiente. Las puntuaciones proceden de un evaluador que no es el desarrollador del modelo (por ejemplo, las ejecuciones de evaluación propias de Epoch AI). Nunca se usan los números que los desarrolladores comunican sobre sus propios modelos.
2. Datos republicables. La licencia del evaluador nos permite republicar los números, de modo que cualquiera puede descargar todas las entradas y recalcular el índice. No se usan los resultados cuyas condiciones prohíben republicarlos ni los que tienen una licencia no comercial.
3. Solapamiento suficiente. En el momento de la calibración tienen un resultado en él al menos 10 modelos con al menos 4 resultados cada uno, de los cuales al menos 3 pertenecen al grupo de referencia, y el benchmark está conectado con el resto de los datos a través de modelos compartidos.
4. Mide la capacidad. Las puntuaciones deben aumentar con la capacidad general; se descarta un benchmark cuya carga ajustada no sea positiva.

Qué puntuación de un modelo. Cuando un evaluador ejecutó un modelo con varias configuraciones (esfuerzo de razonamiento, presupuesto de pensamiento), se toma la mejor puntuación que publicó para ese modelo en ese benchmark. Los niveles superiores de producto que se venden como ofertas independientes (por ejemplo, un modo «Pro») no se tratan como una configuración del modelo base. En el caso de OpenRouter, que ejecuta cada modelo a través de varios proveedores de alojamiento, se toman los proveedores cuyas ejecuciones cubrieron de media al menos el 95 % de las preguntas (total de preguntas intentadas dividido entre el número de ejecuciones) —solo el alojamiento propio del desarrollador si está entre ellos— y se usa el que ocupa la mediana; con un número par se toma el menor de los dos valores centrales, de modo que el número utilizado es siempre el resultado de un único proveedor exactamente tal como se publicó.

Qué modelo. Los modelos se identifican mediante los grupos de modelos de Epoch AI. Una versión de un modelo solo se usa si coincide con su grupo en el tipo de producto (se excluye una versión «VL», «Mini» o «Pro» archivada en otro grupo). Los nombres de otras fuentes se emparejan de forma exacta —tras eliminar sufijos explícitos de configuración de ejecución como «(high)»— y solo cuando coinciden los números de versión y las palabras de producto; los nombres que no pueden emparejarse con certeza esperan hasta que se confirman y, mientras tanto, nunca se clasifican. Si los resultados que se usan para un modelo proceden de versiones lanzadas con más de 60 días de diferencia, el modelo se muestra pero no se clasifica.

Los benchmarks que forman parte actualmente del índice, con sus parámetros:

n: número de preguntas. ≈ = número efectivo derivado de los errores estándar del evaluador; * = supuesto (no se publicó el recuento). «Modelos en el ajuste» = modelos cuyos resultados fijaron los parámetros en la última calibración.

Fuera del índice por el momento: Furniture Assembly (menos de 3 modelos del grupo de referencia)

GPQA Diamond aparece dos veces porque Epoch AI y OpenRouter ejecutaron las mismas 198 preguntas de forma independiente. Los resultados que comparten un conjunto de preguntas forman una familia y cuentan juntos como un solo resultado (sección 5).

2. De la puntuación bruta a una escala común

Para una puntuación s (proporción de aciertos) en un benchmark con nivel de azar g, techo efectivo c y n preguntas:

p   = clip((s − g) / (c − g), 0, 1)
p*  = (p·n + 0.5) / (n + 1)
y   = ln(p* / (1 − p*))
s*  = g + (c − g)·p*
v   = s*(1 − s*)·n / ((n + 1)²·(c − g)²·p*²·(1 − p*)²)

p es la puntuación corregida por azar, p* la misma con una corrección por continuidad (para que nunca sea exactamente 0 ni 1), y su logit y v la varianza muestral de y. v es la varianza de y según el método delta para una puntuación que es una proporción binomial sobre n preguntas independientes: Var(s) ≈ s*(1 − s*)/n, multiplicada por el cuadrado de la derivada de toda la transformación, (1/(c − g))·(n/(n + 1))·1/(p*(1 − p*)). Cuando p se recorta (una puntuación por debajo del azar o por encima del techo), se usa la derivada dentro del rango.

El logit estira los extremos superior e inferior de la escala, de modo que pasar del 95 % al 99 % cuenta como un progreso mucho mayor que pasar del 50 % al 54 %, lo que refleja lo difíciles que son esas mejoras. Como v crece cerca del 0 % y del 100 %, los benchmarks casi saturados tienen automáticamente menos peso.

Qué es n. n cuenta preguntas de prueba distintas; ejecutar las mismas preguntas varias veces no lo aumenta. La tabla anterior indica de dónde procede cada n: de la definición del benchmark (el número de preguntas), de un número efectivo derivado de los errores estándar publicados por el evaluador (n = s(1 − s)/SE², el número de preguntas independientes que daría ese error estándar) o de una suposición declarada de 100 cuando no existe ninguna de las dos cosas. Una suposición no es una cota segura: si el número real de preguntas independientes es menor, v y el intervalo son demasiado pequeños y el benchmark recibe demasiado peso. Las puntuaciones que promedian varias subpruebas se tratan como una única puntuación binomial, lo cual es una aproximación.

3. El modelo y su calibración

Cada puntuación transformada se modela como

y = α_b · θ_m + β_b + e,      Var(e) = σ_b² + v

donde e es el error, θ_m es la capacidad del modelo m, α_b indica con qué fuerza el benchmark b separa los modelos más fuertes de los más débiles (su carga), β_b fija su dificultad y σ_b² es la variación que una única capacidad no explica. Se trata de una versión linealizada del modelo de respuesta al ítem de dos parámetros que también usa el Capabilities Index de Epoch AI.

La calibración ajusta α, β y σ² una vez al mes (en la primera ejecución a partir del día 1 a las 06:00 UTC) —y también, cualquier día, cuando un benchmark congelado pasa a valores revisados (sección 8)— con los modelos que tienen al menos cuatro resultados admisibles:

1. Se conservan solo los benchmarks y modelos que cumplen la sección 1 y el mayor grupo de modelos y benchmarks conectados a través de resultados compartidos. Estar conectado no basta: los modelos compartidos deben vincular cada benchmark a una escala común. Tras el ajuste, una comprobación de rango de las derivadas de los valores ajustados respecto a todos los θ, α y β debe dejar exactamente las dos direcciones libres que fija el grupo de referencia (desplazar y estirar todos los θ a la vez). Si un grupo de benchmarks pudiera estirarse respecto al resto —por ejemplo, dos grupos que comparten un solo modelo—, se descarta el benchmark cuya eliminación lo corrige (primero el que tiene menos modelos) y la calibración se reinicia; si ningún benchmark por sí solo lo corrige, la calibración se rechaza.
2. Inicio: para cada benchmark, sus valores y se convierten en puntuaciones z (desviación estándar poblacional); el θ inicial de cada modelo es la media de sus puntuaciones z; θ se estandariza sobre el grupo de referencia (media 0, desviación estándar poblacional 1). Valores iniciales para cada benchmark: α = 1, β = 0, σ² = 0.25.
3. Se repite hasta que ningún θ cambie en más de 10⁻¹⁰ (como máximo 500 rondas):
   • para cada benchmark, una recta de mínimos cuadrados ponderados de y sobre θ con pesos 1/(σ² + v) da α y β (no se permite que α baje de 0.05); σ² = max(Σ residuo² / (número de modelos − 2) − media(v), 0.10);
   • para cada modelo, θ según la fórmula de la sección 5 (sin la transformación final);
   • θ se vuelve a estandarizar sobre el grupo de referencia y el desplazamiento y la escala se incorporan a α y β.
4. Se reajustan α, β y σ² una vez más con los θ finales. Un benchmark cuyo α queda en 0.05 se descarta y la calibración se reinicia.
5. Transformación afín. La fórmula de la sección 5 incluye una pequeña atracción λ hacia cero, que encoge ligeramente la escala. Por ello se aplica a cada modelo de referencia y se publican shift (la media de esos valores) y scale (su desviación estándar poblacional); restar shift y dividir entre scale sitúa el grupo de referencia exactamente en media 0 y desviación estándar 1 en el momento de la calibración. Entre calibraciones, las puntuaciones de los modelos de referencia se mueven cuando reciben nuevos resultados, por lo que la media del grupo se desvía ligeramente de 100 hasta la siguiente calibración.
6. κ (un factor empírico de ensanchamiento de los intervalos): los modelos se dividen en 5 pliegues: se ordenan los slugs de los modelos ajustados por punto de código Unicode, se numeran desde 0 y pliegue = número mod 5. Para cada pliegue, los pasos 1–5 se repiten sin los modelos de ese pliegue, con los mismos umbrales; los modelos de referencia del pliegue son los miembros del grupo de referencia que contiene (sin número mínimo), y un pliegue cuya calibración falla se omite. Para cada modelo excluido con al menos 4 resultados en los benchmarks calibrados del pliegue, sus familias de resultados se reparten de forma alterna (por orden de punto de código de los nombres de familia) en dos mitades A y B —cada mitad necesita al menos 2 resultados— y se calcula z = (θ_A − θ_B) / √(SE_A² + SE_B²) con κ = 1 en ambos errores estándar. κ = (el percentil 90 de |z| por el método del rango más cercano) / 1.644854, y nunca inferior a 1. Con menos de 3 pliegues calibrados con éxito o menos de 30 pares, κ queda indeterminado y la calibración se rechaza.

La calibración usa los resultados aceptados en el momento en que se ejecuta. Se rechaza —y la anterior sigue vigente— si no converge, si produce valores no finitos, si no supera la comprobación de rango o si falta en el conjunto ajustado algún modelo del grupo de referencia congelado (sección 4): el grupo de referencia nunca se sustituye en silencio por los miembros que estén disponibles en ese momento. Una recalibración (mensual, o cuando un benchmark congelado pasa a valores revisados) también se rechaza si un benchmark fuera a salir del índice, si el número de modelos clasificados fuera a cambiar en más de un 10 % o si las puntuaciones fueran a moverse más de lo esperado (correlación de rangos inferior a 0.95 o mediana del cambio superior a 3 puntos). Un benchmark solo puede incorporarse en una recalibración de este tipo si ya está configurado y antes quedó fuera únicamente porque demasiado pocos modelos tenían resultados. Otros cambios estructurales requieren una nueva versión mayor del método; el último índice de cada versión mayor anterior sigue disponible para descarga en /data/archive/.

Entre calibraciones, los parámetros están congelados: un modelo nuevo o una puntuación nueva se puntúa con los parámetros congelados, de modo que añadir un modelo nunca cambia el SI-IQ de ningún otro. Cada resultado es idéntico cuando se vuelven a procesar las mismas entradas: no hay números aleatorios en ningún punto.

4. El grupo de referencia (qué significa 100)

El grupo de referencia es una lista fija de modelos: los lanzados en 2025 que tenían suficientes datos independientes en la primera calibración. No incluye todos los modelos lanzados en 2025: se inclina hacia modelos conocidos que los evaluadores eligieron probar. La lista solo cambia con una versión mayor del método (como máximo una vez al año, con una tabla de conversión publicada). Grupo de referencia actual:

Claude 3.7 Sonnet, Claude Haiku 4.5, Claude Opus 4, Claude Opus 4.1, Claude Opus 4.5, Claude Sonnet 4, Claude Sonnet 4.5, DeepSeek-R1, DeepSeek-R1 (May 2025), DeepSeek-V3.2-Exp, DeepSeek-V3 (Mar 2025), Gemini 2.5 Pro (Jun 2025), Gemini 3 Flash, Gemini 3 Pro, Gemma 3 12B, Gemma 3 27B, Gemma 3 4B, GLM-4.7, GPT-4.1, GPT-4.1 mini, GPT-4.1 nano, GPT-5, GPT-5.1, GPT-5.2, GPT-5 mini, GPT-5 nano, gpt-oss-120b, gpt-oss-20b, Grok 3, Grok-3 mini, Grok 4, Llama 4 Maverick, Llama 4 Scout, Mistral Medium 3, o3, o3-mini, o4-mini, Qwen2.5-Max, Qwen3-14B, Qwen3-235B-A22B-Thinking (Jul 2025), Qwen3-30B-A3B, Qwen3-30B-A3B-Instruct (Jul 2025), Qwen3-32B, Qwen3-Max

Existen líneas base humanas para algunos benchmarks, pero usan poblaciones distintas y cubren demasiado pocos benchmarks para definir una escala humana común, por lo que SI-IQ no afirma nada sobre el CI humano.

5. El SI-IQ de un modelo: la fórmula que se puede comprobar

Con los parámetros publicados, la capacidad de cada modelo es una media ponderada en forma cerrada de sus resultados:

f_b   = 1 / F_b
w_b   = ω_b · f_b / (σ_b² + v_b)
D     = λ + Σ w_b·α_b²
θ₀    = Σ w_b·α_b·(y_b − β_b) / D
θ     = (θ₀ − shift) / scale
SE    = κ · √(Σ w_b²·α_b²·(σ_b² + v_b)) / D / scale
SI-IQ      = 100 + 15·θ
SI-IQ_low  = 100 + 15·(θ − 1.644854·SE)
SI-IQ_high = 100 + 15·(θ + 1.644854·SE)

• F_b es el número de resultados de este modelo en la misma familia que b; el intervalo del 90 % va de SI-IQ_low a SI-IQ_high.
• ω_b = 1/√K, donde K es el número de benchmarks del índice en la misma área (conocimiento, matemáticas, razonamiento, programación, agentes), para que un área con muchos benchmarks no domine.
• λ = 0.1 aplica una atracción mínima hacia el centro a los modelos con muy pocos datos.
• SE es un error estándar sándwich: sigue siendo válido cuando los pesos no son simples inversas de las varianzas. Trata los resultados de un modelo como independientes salvo por la regla de familia, y no incluye la incertidumbre de los parámetros calibrados (véase la sección 9).
• Redondeo: todas las comparaciones usan precisión completa. Los valores mostrados se redondean al entero más próximo con la función round() de Python (las mitades exactas van al número par); los extremos de los intervalos se redondean de la misma forma, por separado.

Ejemplo resuelto (todos los números proceden de los datos actuales):

Este es el cálculo completo para GPT-6 Astra, el modelo mejor clasificado en este momento.

D     = 0,10 + 24,3255 = 24,4255
θ₀    = 80,5180 / 24,4255 = 3,2965
θ     = (3,2965 − 0,004024) / 0,994832 = 3,3096
SE    = 1,0000 × √14,3103 / 24,4255 / 0,994832 = 0,1557
SI-IQ = 100 + 15 × 3,3096 = 149,64 → 150
90%   = 145,8 … 153,5

6. Capacidad por área

Las puntuaciones por área (Conocimiento, Matemáticas, Razonamiento, Programación, Agentes) usan la misma fórmula restringida a los benchmarks de esa área, con una unidad de peso que las atrae hacia la capacidad general sin transformar θ₀ del modelo:

θ_d,0   = (Σ_d w·α·(y − β) + 1·θ₀) / (Σ_d w·α² + 1)
θ_d     = (θ_d,0 − shift) / scale
SI-IQ_d = 100 + 15·θ_d

(d = el área; Σ_d recorre los resultados del área.)

Su error estándar y su intervalo del 90 % usan la misma forma sándwich sobre los resultados del área, tratando θ₀ como conocido:

SE_d = κ · √(Σ_d w²·α²·(σ² + v)) / (Σ_d w·α² + 1) / scale

Una puntuación por área solo se muestra cuando el modelo tiene resultados de al menos dos familias distintas en esa área.

7. Quién recibe una posición

Un modelo se clasifica cuando sus resultados proceden de al menos 5 familias de benchmarks, cubren al menos 3 áreas, proceden de al menos 2 evaluadores distintos y sus versiones no distan más de 60 días entre sí. Los demás modelos aparecen en «datos insuficientes» con una puntuación provisional y sin posición. Los modelos clasificados se ordenan por θ (los empates, por slug). La página de cada modelo muestra además un rango de posiciones: la mejor posición es 1 + el número de modelos clasificados cuyo intervalo queda completamente por encima del intervalo de este modelo; la peor es el número de modelos clasificados cuyo extremo superior es al menos igual al extremo inferior de este modelo. Describe qué intervalos se solapan; no es una probabilidad ni una prueba de significación: dos modelos cuyos rangos de posiciones se solapan pueden tener aun así intervalos que no se solapan.

8. Actualizaciones y comprobaciones

• Cada fuente se comprueba cada hora con solicitudes condicionales. OpenRouter se lee a través de su manifiesto y del archivo inmutable con fecha que este indica, verificado mediante SHA-256; los archivos alojados en GitHub se enlazan en el commit exacto. Se archiva cada archivo distinto de resultados de benchmarks que hemos analizado.
• Cada número nuevo o modificado lo vuelve a leer en su fila de origen (con los encabezados de columna) un modelo de IA de una familia distinta de la del modelo que redactó los textos de este sitio; debe confirmar el modelo, el benchmark, el número y la identidad del modelo. Si el servicio de comprobación no está disponible, se detiene toda la actualización y la versión anterior sigue en línea.
• Una puntuación que cambia en más de 10 puntos, o un resultado nuevo o modificado muy alejado de lo que predicen los demás resultados de un modelo (más de 4 desviaciones estándar; en el caso de un resultado modificado, solo si su valor anterior no lo estaba), se retiene hasta que una instantánea posterior de la fuente lo confirme: la instantánea distinta más reciente observada al menos seis horas antes ya lo mostraba a no más de 0.02 de su valor actual (algunas fuentes, como OpenRouter, recalculan sus medias cada día; en ese caso se publica el valor más reciente), o la otra ejecución de GPQA Diamond lo confirma; el mero paso del tiempo nunca lo libera. Un modelo que antes no estaba clasificado (nuevo, o listado con datos insuficientes) y que ahora superaría en más de 5 puntos al líder actual conserva su estado publicado anterior (nada, en el caso de un modelo nuevo), y sus resultados nuevos o modificados solo se publican cuando todos ellos están confirmados —al menos seis horas después de su primera aparición, su fuente lo sigue listando y la instantánea distinta más reciente observada al menos seis horas antes ya lo mostraba a no más de 0.02 (se usa el valor más reciente)— y la puntuación del modelo sigue siendo la misma con un margen de 3 puntos. La actualización de otra fuente no cuenta.
• Si una fuente cambia de formato o pierde de repente más del 30 % de sus filas —o de las filas de un benchmark—, se conservan sus últimos datos válidos, el fallo se muestra en /status.json y no se actualiza nada procedente de ella. Si cambia la definición de un benchmark (columna de puntuación, escala, nivel de azar, techo, número de preguntas), solo ese benchmark queda congelado (véase más abajo) hasta que una persona revise el cambio; los demás benchmarks de la fuente se siguen actualizando. Un archivo reducido solo se acepta como la nueva normalidad si nuestro analizador sigue conservando la misma proporción de las filas del archivo que antes (es decir, las filas se eliminaron en origen y no las perdimos nosotros) y todos los archivos analizados durante las 24 horas siguientes eran igual de pequeños; una caída de esa proporción nunca se acepta automáticamente. Un resultado que sale de la ventana de 90 días de OpenRouter, o de una fuente archivada, conserva su último valor; un resultado eliminado por Epoch AI se elimina aquí al cabo de seis horas. Cuando un nombre de fuente se vuelve a emparejar con otro modelo, la correspondencia anterior se elimina de inmediato, también de las fuentes archivadas y de las curvas históricas.
• Revisiones de benchmarks. Volver a puntuar muchos resultados existentes a la vez suele significar que el propio benchmark ha cambiado (preguntas nuevas, un nuevo sistema de puntuación). Cuando al menos 5 resultados existentes de un benchmark, y al menos una cuarta parte de ellos, cambian en más de medio punto en una misma instantánea de la fuente, el benchmark queda congelado: sus valores publicados se mantienen como estaban y no se usa ningún valor nuevo o modificado. El benchmark pasa a los nuevos valores en un solo paso, junto con una recalibración, en cuanto cada valor modificado ha superado la comprobación cruzada con otra familia de modelos y ha quedado confirmado por una instantánea posterior de la misma forma que más arriba —y solo si esa recalibración supera todas sus comprobaciones—; de lo contrario, sigue congelado (un intento fallido se repite al cabo de un día). Un resultado existente que la fuente vuelve a puntuar en una instantánea posterior (en más de medio punto) pasa a formar parte de la misma revisión y también debe confirmarse, de modo que una nueva puntuación que llega en varias instantáneas se aplica en un solo paso; los cambios posteriores más pequeños conservan su valor publicado y se comprueban de la forma habitual tras la transición. Los modelos que la fuente ha añadido desde la congelación no retrasan la transición; sus resultados se comprueban después de la forma habitual. Un valor modificado que la comprobación rechaza finalmente se deja fuera (ese modelo se queda sin este benchmark). Los valores sin cambios se mantienen; los valores que han salido de una fuente que conserva los últimos valores también se mantienen. Si una transición no está lista al cabo de tres días —lo que siempre ocurre con una fuente archivada, que nunca publica una instantánea más reciente—, se avisa al operador, que puede aprobar los valores de la instantánea actual tras comprobarlos. Los benchmarks congelados se indican en /status.json.
• Valores retenidos que nunca se confirman. Un valor retenido que ninguna instantánea más reciente confirma en un plazo de 7 días desde que se retuvo por primera vez (las fuentes archivadas nunca publican ninguna) sigue retenido hasta que una instantánea posterior lo confirme o una persona lo libere tras comprobarlo en la fuente, y se notifica al operador.
• Antes de publicar, el sitio se comprueba automáticamente: cada página se analiza sin errores, los enlaces internos y las referencias a las versiones en otros idiomas se resuelven, y cada SI-IQ de /data/index.json se recalcula a partir de sus entradas. Si desaparecen modelos clasificados o muchas puntuaciones se mueven sin una recalibración, la publicación se detiene. Solo se reanuda automáticamente si las entradas de todos los modelos afectados han cambiado (cambios de la fuente aceptados y comprobados) y la situación se mantiene durante seis ejecuciones horarias; un cambio en un modelo cuyas entradas no han cambiado nunca se publica automáticamente.
• Cada fila de entrada se publica tal como apareció en la fuente, con la dirección y el SHA-256 del archivo fuente, en /data/evidence.jsonl, para que los lectores puedan comprobar cada número incluso después de que la fuente haya cambiado.

9. Limitaciones conocidas

• Un solo número oculta diferencias. Los modelos se especializan cada vez más; las puntuaciones por área y la tabla por benchmark de la página de cada modelo muestran dónde un modelo es más fuerte o más débil.
• La cobertura es desigual. Existen pocos benchmarks independientes y republicables para tareas de programación y de agentes, y algunos ya no se actualizan, por lo que esas puntuaciones por área faltan en la mayoría de los modelos recientes. Todavía no hay un área multimodal.
• Los benchmarks envejecen y se filtran. Los benchmarks más antiguos se saturan o pueden haber aparecido en datos de entrenamiento. La transformación logit reduce su influencia cerca del techo, pero no puede eliminar la contaminación; los conjuntos de preguntas privados (como FrontierMath) están menos expuestos.
• Distintos evaluadores, distintas configuraciones. Las mismas preguntas ejecutadas con distintos prompts, herramientas o niveles de esfuerzo pueden dar puntuaciones diferentes; las ejecuciones de cada evaluador se mantienen como un benchmark aparte.
• «La mejor configuración publicada» favorece a los modelos probados en muchas configuraciones, porque la mejor de varias ejecuciones tiende a ser más alta.
• Las afirmaciones de los desarrolladores se excluyen, aunque a menudo aparezcan antes; los números comunicados por los desarrolladores tienden a ser favorables y no son comparables entre empresas.
• La escala es relativa. SI-IQ compara modelos de IA entre sí. Una puntuación de 140 no significa que un modelo sea tan capaz como una persona con un CI de 140.
• Los intervalos son condicionales. Suponen que el modelo de la sección 3 es correcto. Dejan fuera la incertidumbre de los parámetros calibrados, las correlaciones entre los resultados de un modelo más allá de la regla de familia y el efecto de qué modelos eligieron probar los evaluadores; κ los ensancha según cuánto discrepan realmente dos mitades independientes de los datos, pero no hay garantía de que los intervalos del 90 % cubran el valor verdadero el 90 % de las veces.
• Número de preguntas supuesto. Cuando n es una suposición o un número efectivo (sección 2), el peso y el intervalo de ese benchmark son aproximados.

10. Fuentes de datos y licencias

Atribuciones obligatorias:

• Aider polyglot leaderboard data (Apache-2.0) — https://aider.chat/docs/leaderboards/
• Arena leaderboard dataset on Hugging Face (CC BY 4.0) — https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset
• Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0) — https://gorilla.cs.berkeley.edu/leaderboard.html
• Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0) — https://epoch.ai/benchmarks
• LiteLLM, model_prices_and_context_window.json (MIT) — https://github.com/BerriAI/litellm/blob/main/model_prices_and_context_window.json
• Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter. — https://openrouter.ai/api/v1/datasets/exports/README.md

11. Versiones

La versión del método se muestra en la página de cada modelo y en cada archivo de datos. Las versiones de parche corrigen errores de datos o de análisis sin cambiar los parámetros; las versiones menores son recalibraciones (mensuales, o cuando un benchmark congelado pasa a valores revisados); las versiones mayores cambian la transformación, el modelo, las áreas, el conjunto de benchmarks o el grupo de referencia, e incluyen el historial recalculado. Las curvas históricas de las páginas de modelos siempre vuelven a puntuar las entradas archivadas de cada día con los parámetros actuales, por lo que nunca mezclan métodos; esas entradas se publican en /data/history.json, de modo que cada punto puede recalcularse con la fórmula de la sección 5.

• 1.0.0 (18 de octubre de 2026): primera versión.