SI-IQ 산출 방법

최종 업데이트 2026년 10월 18일

SI-IQ는 통계 지수입니다. 독립 평가 기관이 공개 벤치마크에서 발표한 결과를 사용해 AI 모델을 하나의 능력 척도 위에 놓고, 이 척도를 IQ 점수처럼 표현합니다. 100은 2025년에 출시된 AI 모델로 구성된 고정 기준 그룹의 평균이며, 15점은 이 그룹의 표준편차 1에 해당합니다 (그룹 목록은 4절에 있습니다). SI-IQ는 IQ 검사가 아니며, IQ 문항으로 모델을 시험하지 않고, 사람의 IQ 점수와 비교할 수 없습니다.

이 페이지는 방법을 빠짐없이 설명합니다. 공개된 모든 수치를 다시 계산하는 데 필요한 정보는 /data/index.json에 모두 들어 있으며, 5절의 계산 예시에서 한 모델의 계산 과정을 확인할 수 있습니다.

1. 어떤 결과를 사용하는가

다음 조건을 모두 충족하는 벤치마크만 사용합니다.

1. 독립 평가. 점수가 해당 모델의 개발사가 아닌 평가 기관에서 나온 것이어야 합니다 (예: Epoch AI의 자체 평가 실행). 개발사가 자사 모델에 대해 보고한 수치는 사용하지 않습니다.
2. 재배포 가능한 데이터. 누구나 모든 입력값을 내려받아 지수를 다시 계산할 수 있도록, 평가 기관의 라이선스가 수치의 재배포를 허용해야 합니다. 재배포를 금지하거나 비상업 라이선스가 붙은 결과는 사용하지 않습니다.
3. 충분한 중복. 보정 시점에 결과가 4개 이상인 모델 중 최소 10개 모델이 해당 벤치마크 결과를 갖고 있어야 하고, 그중 최소 3개는 기준 그룹 소속이어야 하며, 벤치마크가 공유 모델을 통해 나머지 데이터와 연결되어 있어야 합니다.
4. 능력을 측정함. 점수가 전반적인 능력과 함께 올라가야 합니다. 적합된 적재량이 양수가 아닌 벤치마크는 제외합니다.

모델의 어떤 점수를 쓰는가. 평가 기관이 한 모델을 여러 설정(추론 강도, 사고 예산)으로 실행한 경우, 해당 벤치마크에서 그 모델에 대해 발표된 점수 중 가장 높은 것을 사용합니다. 별도 상품으로 판매되는 상위 등급(예: "Pro" 모드)은 기본 모델의 설정으로 보지 않습니다. 각 모델을 여러 호스팅 제공업체를 통해 실행하는 OpenRouter의 경우, 실행이 평균 95% 이상의 문항을 다룬 제공업체(시도한 총 문항 수를 실행 횟수로 나눈 값)를 대상으로 하며, 그중에 개발사 자체 호스팅이 있으면 그것만 남기고 중앙값에 해당하는 제공업체를 사용합니다. 짝수 개일 때는 가운데 두 값 중 낮은 쪽을 택하므로, 사용하는 수치는 항상 한 제공업체가 발표한 결과 그대로입니다.

어떤 모델인가. 모델은 Epoch AI의 모델 그룹으로 식별합니다. 모델 버전은 제품 유형이 그룹과 일치할 때만 사용합니다 (다른 그룹에 분류된 "VL", "Mini", "Pro" 버전은 제외). 다른 출처의 이름은 "(high)"와 같이 실행 설정을 명시한 접미사를 제거한 뒤 정확히 일치할 때, 그리고 버전 번호와 제품 관련 단어가 일치할 때만 대응시킵니다. 확실하게 대응시킬 수 없는 이름은 확인될 때까지 보류하며, 그동안 순위에 포함하지 않습니다. 한 모델에 사용하는 결과가 60일 넘게 간격을 두고 출시된 버전에서 나온 경우, 그 모델은 표시하되 순위는 매기지 않습니다.

현재 지수에 포함된 벤치마크와 그 매개변수는 다음과 같습니다.

n: 문항 수. ≈ = 평가 기관의 표준오차에서 도출한 유효 문항 수, * = 가정값(공개된 문항 수 없음). “적합에 사용된 모델”은 마지막 보정에서 결과가 매개변수를 정한 모델을 뜻합니다.

현재 지수에 포함되지 않은 모델: Furniture Assembly (fewer than 3 reference-group models)

GPQA Diamond는 Epoch AI와 OpenRouter가 동일한 198개 문항을 각각 독립적으로 실행했기 때문에 두 번 나타납니다. 문항 세트를 공유하는 결과는 하나의 패밀리를 이루며 합쳐서 하나의 결과로 계산합니다 (5절).

2. 원점수에서 공통 척도로

우연 수준이 g, 유효 상한이 c, 문항 수가 n인 벤치마크에서 점수 s (정답 비율)에 대해:

p   = clip((s − g) / (c − g), 0, 1)
p*  = (p·n + 0.5) / (n + 1)
y   = ln(p* / (1 − p*))
s*  = g + (c − g)·p*
v   = s*(1 − s*)·n / ((n + 1)²·(c − g)²·p*²·(1 − p*)²)

p는 우연 수준을 보정한 점수이고, p**는 연속성 보정을 더한 같은 값(따라서 정확히 0이나 1이 되지 않음), y는 그 로짓, v는 y의 표본 분산입니다. v는 점수가 독립적인 n개 문항에 대한 이항 비율이라고 보고 구한 y의 델타 방법 분산입니다. Var(s) ≈ s(1 − s*)/n에 변환 전체의 도함수 제곱, (1/(c − g))·(n/(n + 1))·1/(p*(1 − p*))를 곱한 값입니다. p가 잘린 경우(우연 수준 미만이거나 상한 초과인 점수)에는 범위 안쪽의 도함수를 사용합니다.

로짓은 척도의 위쪽과 아래쪽 끝을 늘리므로, 95%에서 99%로 오르는 것이 50%에서 54%로 오르는 것보다 훨씬 큰 진전으로 계산됩니다. 이는 해당 향상의 어려움과 부합합니다. v는 0%와 100% 부근에서 커지므로, 거의 포화된 벤치마크는 자동으로 가중치가 낮아집니다.

n이란 무엇인가. n은 서로 다른 시험 문항의 수를 셉니다. 같은 문항을 여러 번 실행해도 늘어나지 않습니다. 위 표에는 각 n의 출처가 나와 있습니다. 벤치마크의 정의(문항 수), 평가 기관이 발표한 표준오차에서 도출한 유효 수(n = s(1 − s)/SE², 해당 표준오차를 낳을 독립 문항 수), 또는 둘 다 없을 때 쓰는 가정값 100 중 하나입니다. 가정값은 안전한 하한이 아닙니다. 실제 독립 문항 수가 더 적다면 v와 구간이 너무 작게 나오고 그 벤치마크에 지나치게 큰 가중치가 실립니다. 여러 하위 시험의 평균인 점수는 하나의 이항 점수로 취급하는데, 이는 근사입니다.

3. 모델과 보정

변환된 각 점수는 다음과 같이 모델링합니다.

y = α_b · θ_m + β_b + e,      Var(e) = σ_b² + v

여기서 e는 오차, θ_m은 모델 m의 능력, α_b는 벤치마크 b가 강한 모델과 약한 모델을 얼마나 뚜렷하게 구분하는지(적재량), β_b는 난이도, σ_b²는 하나의 능력으로 설명되지 않는 변동입니다. 이는 Epoch AI의 Capabilities Index도 사용하는 2모수 문항반응 모형을 선형화한 것입니다.

보정은 적격 결과가 4개 이상인 모델을 대상으로 α, β, σ²를 한 달에 한 번(매월 1일 또는 그 이후의 첫 실행, 06:00 UTC) 적합하며, 동결된 벤치마크가 개정된 값으로 전환될 때(8절)에도 날짜와 관계없이 적합합니다.

1. 1절을 충족하는 벤치마크와 모델 가운데, 공유 결과로 연결된 가장 큰 모델·벤치마크 묶음에 속한 것만 남깁니다. 연결만으로는 충분하지 않으며, 공유 모델이 모든 벤치마크를 하나의 공통 척도에 묶어야 합니다. 적합 후에는 모든 θ, α, β에 대한 적합값의 도함수로 계수(rank) 검사를 수행하며, 기준 그룹이 고정하는 두 개의 자유 방향(모든 θ를 함께 이동하고 늘리는 것)만 정확히 남아야 합니다. 예를 들어 모델 하나만 공유하는 두 그룹처럼 일부 벤치마크 묶음을 나머지와 따로 늘릴 수 있다면, 제거했을 때 이를 해결하는 벤치마크(모델 수가 적은 것부터)를 제외하고 보정을 다시 시작합니다. 어느 벤치마크 하나를 제거해도 해결되지 않으면 보정은 거부됩니다.
2. 시작: 각 벤치마크에서 y 값을 z 점수로 변환하고(모표준편차 사용), 각 모델의 시작 θ는 z 점수의 평균으로 합니다. θ는 기준 그룹에서 표준화합니다(평균 0, 모표준편차 1). 모든 벤치마크의 시작값은 α = 1, β = 0, σ² = 0.25입니다.
3. 어떤 θ도 10⁻¹⁰ 넘게 변하지 않을 때까지 반복합니다(최대 500회).
   • 각 벤치마크에 대해 가중치 1/(σ² + v)를 쓴 y의 θ에 대한 가중 최소제곱 직선으로 α와 β를 구합니다(α는 0.05 미만이 될 수 없음). σ² = max(Σ 잔차² / (모델 수 − 2) − mean(v), 0.10)입니다.
   • 각 모델에 대해 5절의 공식(최종 변환 제외)으로 θ를 구합니다.
   • 기준 그룹에서 θ를 다시 표준화하고 이동과 배율을 α와 β에 반영합니다.
4. 최종 θ에서 α, β, σ²를 한 번 더 적합합니다. α가 0.05에 머무는 벤치마크가 있으면 제외하고 보정을 다시 시작합니다.
5. 아핀 변환. 5절의 공식에는 0 쪽으로 향하는 작은 당김 λ가 포함되어 척도가 약간 줄어듭니다. 그래서 모든 기준 모델에 대해 이를 계산하고 shift(그 평균)와 scale(그 모표준편차)을 공개합니다. shift를 빼고 scale로 나누면 보정 시점에 기준 그룹이 정확히 평균 0, 표준편차 1이 됩니다. 보정과 보정 사이에 기준 모델에 새 결과가 생기면 점수가 움직이므로, 다음 보정까지 그룹의 평균이 100에서 약간 벗어납니다.
6. κ(구간의 경험적 확대 계수): 모델을 5개 폴드로 나눕니다. 적합된 모델의 슬러그를 유니코드 코드 포인트 순으로 정렬하고 0부터 번호를 매겨 폴드 = 번호 mod 5로 정합니다. 각 폴드마다 해당 폴드의 모델을 제외하고 같은 임계값으로 1~5단계를 다시 실행합니다. 폴드의 기준 모델은 그 폴드에 포함된 기준 그룹 구성원이며(최소 수 제한 없음), 보정에 실패한 폴드는 건너뜁니다. 폴드의 보정된 벤치마크에서 결과가 4개 이상인 각 제외 모델에 대해, 결과 패밀리를 (패밀리 이름의 코드 포인트 순으로) 번갈아 두 반쪽 A와 B로 나눕니다. 각 반쪽에는 결과가 2개 이상 필요하며, z = (θ_A − θ_B) / √(SE_A² + SE_B²)를 두 표준오차 모두 κ = 1로 두고 계산합니다. κ = (|z|의 90번째 백분위수, 최근접 순위법) / 1.644854이며 1 미만이 되지 않습니다. 성공한 폴드가 3개 미만이거나 쌍이 30개 미만이면 κ를 정할 수 없어 보정은 거부됩니다.

보정은 실행 시점에 승인된 결과를 사용합니다. 수렴하지 않거나, 유한하지 않은 값이 나오거나, 계수 검사에 실패하거나, 고정된 기준 그룹(4절)의 모델이 하나라도 적합 집합에 없으면 보정은 거부되고 이전 보정이 계속 유효합니다. 기준 그룹이 그때 사용 가능한 구성원으로 조용히 대체되는 일은 없습니다. 재보정(월간, 또는 동결된 벤치마크가 전환될 때)은 벤치마크가 지수에서 빠지게 되거나, 순위가 매겨진 모델 수가 10% 넘게 바뀌거나, 점수가 예상보다 크게 움직이는 경우(순위 상관 0.95 미만 또는 변화량 중앙값 3점 초과)에도 거부됩니다. 이러한 재보정에서 벤치마크가 새로 합류할 수 있는 것은 이미 설정되어 있고, 이전에 오직 결과가 있는 모델이 너무 적어서 제외되었던 경우뿐입니다. 그 밖의 구조 변경에는 방법의 새 주 버전이 필요하며, 이전 각 주 버전의 마지막 지수는 /data/archive/ 아래에서 계속 내려받을 수 있습니다.

보정과 보정 사이에는 매개변수가 고정됩니다. 새 모델이나 새 점수는 고정된 매개변수로 점수화하므로, 모델을 추가해도 다른 모델의 SI-IQ는 결코 바뀌지 않습니다. 같은 입력을 다시 처리하면 모든 결과가 동일합니다. 난수는 어디에도 쓰이지 않습니다.

4. 기준 그룹 (100의 의미)

기준 그룹은 고정된 모델 목록으로, 첫 보정 시점에 독립 데이터가 충분했던 2025년 출시 모델입니다. 2025년에 출시된 모든 모델이 아니며, 평가 기관이 테스트하기로 선택한 잘 알려진 모델 쪽으로 치우쳐 있습니다. 목록은 주 버전이 바뀔 때만(최대 연 1회, 변환표 공개와 함께) 변경됩니다. 현재 기준 그룹:

Claude 3.7 Sonnet, Claude Haiku 4.5, Claude Opus 4, Claude Opus 4.1, Claude Opus 4.5, Claude Sonnet 4, Claude Sonnet 4.5, DeepSeek-R1, DeepSeek-R1 (May 2025), DeepSeek-V3.2-Exp, DeepSeek-V3 (Mar 2025), Gemini 2.5 Pro (Jun 2025), Gemini 3 Flash, Gemini 3 Pro, Gemma 3 12B, Gemma 3 27B, Gemma 3 4B, GLM-4.7, GPT-4.1, GPT-4.1 mini, GPT-4.1 nano, GPT-5, GPT-5.1, GPT-5.2, GPT-5 mini, GPT-5 nano, gpt-oss-120b, gpt-oss-20b, Grok 3, Grok-3 mini, Grok 4, Llama 4 Maverick, Llama 4 Scout, Mistral Medium 3, o3, o3-mini, o4-mini, Qwen2.5-Max, Qwen3-14B, Qwen3-235B-A22B-Thinking (Jul 2025), Qwen3-30B-A3B, Qwen3-30B-A3B-Instruct (Jul 2025), Qwen3-32B, Qwen3-Max

일부 벤치마크에는 인간 기준선이 있지만, 모집단이 서로 다르고 공통의 인간 척도를 정의하기에는 벤치마크 수가 너무 적습니다. 따라서 SI-IQ는 사람의 IQ에 대해 어떤 주장도 하지 않습니다.

5. 모델의 SI-IQ — 직접 확인할 수 있는 공식

공개된 매개변수를 쓰면 각 모델의 능력은 결과의 가중 평균으로 닫힌 형태로 구해집니다.

f_b   = 1 / F_b
w_b   = ω_b · f_b / (σ_b² + v_b)
D     = λ + Σ w_b·α_b²
θ₀    = Σ w_b·α_b·(y_b − β_b) / D
θ     = (θ₀ − shift) / scale
SE    = κ · √(Σ w_b²·α_b²·(σ_b² + v_b)) / D / scale
SI-IQ      = 100 + 15·θ
SI-IQ_low  = 100 + 15·(θ − 1.644854·SE)
SI-IQ_high = 100 + 15·(θ + 1.644854·SE)

• F_b는 b와 같은 패밀리에 속하는 이 모델의 결과 수이며, 90% 구간은 SI-IQ_low에서 SI-IQ_high까지입니다.
• ω_b = 1/√K이고, K는 같은 영역(지식, 수학, 추론, 코딩, 에이전트)에 속한 지수 벤치마크의 수입니다. 벤치마크가 많은 영역이 지배하지 않도록 하기 위한 것입니다.
• λ = 0.1은 데이터가 매우 적은 모델을 중간 쪽으로 아주 약하게 당깁니다.
• SE는 샌드위치 표준오차입니다. 가중치가 단순한 역분산이 아니어도 유효합니다. 패밀리 규칙 외에는 모델의 결과를 서로 독립으로 취급하며, 보정된 매개변수의 불확실성은 포함하지 않습니다(9절 참조).
• 반올림: 모든 비교는 전체 정밀도로 수행합니다. 표시 값은 Python의 round()로 가장 가까운 정수로 반올림하며(정확히 절반이면 짝수 쪽), 구간의 양끝도 따로 같은 방식으로 반올림합니다.

계산 예시 (모든 수치는 현재 데이터 기준):

현재 최고 순위 모델인 GPT-6 Astra의 전체 계산 과정은 다음과 같습니다.

D     = 0.10 + 24.3255 = 24.4255
θ₀    = 80.5180 / 24.4255 = 3.2965
θ     = (3.2965 − 0.004024) / 0.994832 = 3.3096
SE    = 1.0000 × √14.3103 / 24.4255 / 0.994832 = 0.1557
SI-IQ = 100 + 15 × 3.3096 = 149.64 → 150
90%   = 145.8 … 153.5

6. 영역별 능력

영역 점수(지식, 수학, 추론, 코딩, 에이전트)는 해당 영역의 벤치마크로 제한한 같은 공식을 사용하며, 모델의 전체 비변환 능력 θ₀ 쪽으로 가중치 1만큼 당깁니다.

θ_d,0   = (Σ_d w·α·(y − β) + 1·θ₀) / (Σ_d w·α² + 1)
θ_d     = (θ_d,0 − shift) / scale
SI-IQ_d = 100 + 15·θ_d

(d = 영역, Σ_d는 해당 영역의 결과에 대한 합입니다.)

표준오차와 90% 구간은 θ₀를 알려진 값으로 보고, 해당 영역의 결과에 대해 같은 샌드위치 형태를 사용합니다.

SE_d = κ · √(Σ_d w²·α²·(σ² + v)) / (Σ_d w·α² + 1) / scale

영역 점수는 모델이 그 영역에서 서로 다른 패밀리의 결과를 2개 이상 가질 때만 표시합니다.

7. 순위 부여 기준

모델의 결과가 5개 이상의 벤치마크 패밀리에서 나오고, 3개 이상의 영역을 포괄하고, 2개 이상의 서로 다른 평가 기관에서 나오며, 버전 간격이 60일을 넘지 않을 때 순위가 매겨집니다. 그 밖의 모델은 "데이터 부족" 아래에 잠정 점수와 함께 순위 없이 표시됩니다. 순위가 매겨진 모델은 θ 순으로 정렬합니다(동점은 슬러그 순). 각 모델 페이지에는 순위 범위도 표시됩니다. 최고 순위는 1 + 구간 전체가 이 모델의 구간보다 위에 있는 순위 모델의 수이고, 최저 순위는 구간 상단이 이 모델의 구간 하단 이상인 순위 모델의 수입니다. 이는 어떤 구간이 겹치는지를 나타낼 뿐이며, 확률도 유의성 검정도 아닙니다. 순위 범위가 겹치는 두 모델도 구간은 겹치지 않을 수 있습니다.

8. 업데이트와 검증

• 모든 출처는 조건부 요청으로 매시간 확인합니다. OpenRouter는 매니페스트와 그것이 가리키는 변경 불가능한 날짜별 파일을 통해 읽고 SHA-256으로 검증하며, GitHub에 호스팅된 파일은 정확한 커밋으로 연결합니다. 파싱한 서로 다른 벤치마크 결과 파일은 모두 보관합니다.
• 새로 생기거나 바뀐 모든 수치는 이 사이트의 텍스트를 작성한 모델과 다른 계열의 AI 모델이 출처 행(열 머리글 포함)에서 다시 읽으며, 이 모델은 모델, 벤치마크, 수치, 모델 식별을 확인해야 합니다. 검증 서비스를 사용할 수 없으면 전체 업데이트가 중단되고 이전 버전이 계속 게시됩니다.
• 10점 넘게 변하는 점수, 또는 모델의 다른 결과로 예측되는 값에서 크게 벗어난(표준편차의 4배 초과, 바뀐 결과는 이전 값이 그렇지 않았던 경우에만 해당) 새 결과나 바뀐 결과는 나중의 출처 스냅샷이 이를 확인할 때까지 보류됩니다. 확인이란 최소 6시간 전에 본 가장 최근의 다른 스냅샷이 이미 현재 값과 0.02 이내의 값을 보여 준 경우(OpenRouter 등 일부 출처는 평균을 매일 다시 계산하며, 이 경우 최신 값이 공개됩니다) 또는 또 다른 GPQA Diamond 실행이 이를 확인해 준 경우를 말합니다. 기다리는 것만으로는 보류가 결코 풀리지 않습니다. 이전에 순위가 없었던 모델(신규이거나 데이터 부족으로 표시된 모델)이 이제 현재 1위보다 5점 넘게 높은 점수를 받게 되면, 이전에 공개된 상태(신규 모델이면 아무것도 없음)가 유지됩니다. 이 모델의 새로 생기거나 바뀐 결과는 하나하나가 모두 확인되고(처음 나타난 지 최소 6시간 뒤에도 해당 출처가 여전히 그 결과를 싣고 있고, 최소 6시간 전에 본 가장 최근의 다른 스냅샷이 이미 0.02 이내의 값을 보여 주었어야 함. 최신 값을 사용) 모델의 점수가 여전히 3점 이내로 같을 때에만 공개됩니다. 다른 출처의 갱신은 인정되지 않습니다.
• 출처의 형식이 바뀌거나 행의 30% 넘게(또는 한 벤치마크 행의 30% 넘게) 갑자기 사라지면, 마지막 정상 데이터를 유지하고 실패를 /status.json에 표시하며 해당 출처의 어떤 항목도 업데이트하지 않습니다. 한 벤치마크의 정의(점수 열, 척도, 우연 수준, 상한, 문항 수)가 바뀌면, 사람이 변경을 확인할 때까지 해당 벤치마크만 동결되고(아래 참조) 그 출처의 다른 벤치마크는 계속 업데이트됩니다. 축소된 파일은 우리 파서가 파일의 행 중 이전과 같은 비율을 여전히 유지하고(즉 행이 우리 쪽에서 손실된 것이 아니라 원본에서 제거된 것이고) 이후 24시간 동안 파싱된 모든 파일이 똑같이 작은 경우에만 새로운 표준으로 받아들이며, 이 비율이 떨어진 경우는 결코 자동으로 받아들이지 않습니다. OpenRouter의 90일 기간에서 벗어나거나 보관된 출처에서 기한이 지난 결과는 마지막 값을 유지하며, Epoch AI가 삭제한 결과는 6시간 뒤 여기서도 삭제됩니다. 출처 이름이 다른 모델로 다시 대응되면 이전 대응은 보관된 출처와 이력 곡선을 포함해 즉시 제거됩니다.
• 벤치마크 개정. 기존 결과를 한꺼번에 다시 채점하는 것은 대개 벤치마크 자체가 바뀌었다는 뜻입니다(새 문항, 새 채점기). 한 벤치마크의 기존 결과 중 5개 이상이면서 4분의 1 이상이 하나의 출처 스냅샷에서 0.5점 넘게 변하면 그 벤치마크는 동결됩니다. 공개된 값은 그대로 유지되고 새로 생기거나 바뀐 값은 사용되지 않습니다. 바뀐 모든 값이 다른 계열 모델의 교차 검증을 통과하고 위와 같은 방식으로 이후 스냅샷에서 확인되는 즉시, 벤치마크는 재보정과 함께 한 번에 새 값으로 전환됩니다. 단, 해당 재보정이 모든 검사를 통과할 때에 한하며, 그렇지 않으면 동결 상태를 유지합니다(실패한 시도는 하루 뒤에 다시 시도합니다). 출처가 이후 스냅샷에서 기존 결과를 (0.5점 넘게) 다시 채점하면 그 결과도 같은 개정에 포함되어 함께 확인되어야 하므로, 여러 스냅샷에 걸쳐 들어오는 재채점도 한 번에 전환됩니다. 그보다 작은 이후 변경은 공개된 값을 유지하며 전환 후 평소대로 검증합니다. 동결 이후 출처에 추가된 모델은 전환을 지연시키지 않으며, 그 결과는 이후 평소대로 검증합니다. 검증에서 최종 거부된 변경 값은 제외됩니다(그 모델은 이 벤치마크 없이 처리). 변하지 않은 값은 유지되며, 마지막 값을 유지하는 출처에서 기한이 지난 값도 유지됩니다. 3일이 지나도 전환이 준비되지 않으면(더 새로운 스냅샷을 결코 게시하지 않는 보관 출처는 항상 그렇습니다) 운영자에게 알림이 전송되며, 운영자는 현재 스냅샷의 값을 확인한 뒤 승인할 수 있습니다. 동결된 벤치마크는 /status.json에 나열됩니다.
• 확인되지 않는 보류 값. 처음 보류된 때부터 7일 안에 더 새로운 스냅샷으로 확인되지 않은 보류 값(보관 출처는 새 스냅샷을 게시하지 않음)은 이후 스냅샷이 이를 확인하거나 사람이 출처에서 확인한 뒤 해제할 때까지 보류 상태로 남으며, 운영자에게 보고됩니다.
• 게시 전에 사이트를 자동으로 검사합니다. 모든 페이지가 파싱되고, 내부 링크와 언어별 대체 페이지가 연결되며, /data/index.json의 모든 SI-IQ를 입력값에서 다시 계산합니다. 순위가 매겨진 모델이 사라지거나 재보정 없이 많은 점수가 움직이면 게시가 중단됩니다. 영향받은 모든 모델의 입력이 바뀌었고(승인되고 검증된 출처 변경) 그 상태가 매시간 실행 6회 동안 유지되는 경우에만 자동으로 재개되며, 입력이 바뀌지 않은 모델의 변화는 결코 자동으로 게시되지 않습니다.
• 모든 입력 행은 출처에 나타난 그대로 출처 파일의 주소 및 SHA-256과 함께 /data/evidence.jsonl에 공개되므로, 출처가 바뀐 뒤에도 독자가 각 수치를 확인할 수 있습니다.

9. 알려진 한계

• 하나의 숫자는 차이를 가립니다. 모델은 점점 전문화되고 있으며, 각 모델 페이지의 영역 점수와 벤치마크별 표에서 모델이 어디에서 더 강하거나 약한지 확인할 수 있습니다.
• 커버리지가 고르지 않습니다. 코딩과 에이전트 작업에는 재배포 가능한 독립 벤치마크가 적고 일부는 더 이상 업데이트되지 않아, 최근 모델 대부분에는 해당 영역 점수가 없습니다. 아직 멀티모달 영역은 없습니다.
• 벤치마크는 낡고 유출됩니다. 오래된 벤치마크는 포화되거나 학습 데이터에 포함되었을 수 있습니다. 로짓 변환은 상한 부근에서 영향을 줄이지만 오염을 제거하지는 못하며, FrontierMath 같은 비공개 문항 세트는 노출이 더 적습니다.
• 평가 기관마다 설정이 다릅니다. 같은 문항이라도 프롬프트, 도구, 노력 설정이 다르면 점수가 달라질 수 있으므로, 각 평가 기관의 실행을 별도 벤치마크로 유지합니다.
• "최고 공개 설정"은 여러 설정으로 테스트된 모델에 유리합니다. 여러 번 실행한 것 중 최고 값은 더 높게 나오는 경향이 있기 때문입니다.
• 개발사의 주장은 제외합니다. 흔히 가장 먼저 나오지만, 개발사가 보고한 수치는 유리하게 나오는 경향이 있고 회사 간에 비교할 수 없습니다.
• 척도는 상대적입니다. SI-IQ는 AI 모델끼리 비교합니다. 140점은 모델이 IQ 140인 사람만큼 유능하다는 뜻이 아닙니다.
• 구간은 조건부입니다. 3절의 모델이 맞다고 가정합니다. 보정된 매개변수의 불확실성, 패밀리 규칙을 넘어서는 모델 결과 간 상관, 평가 기관이 어떤 모델을 테스트하기로 선택했는지의 영향은 포함하지 않습니다. κ는 데이터의 독립적인 반쪽끼리 실제로 얼마나 어긋나는지에 따라 구간을 넓히지만, 90% 구간이 참값을 90%의 확률로 포함한다는 보장은 없습니다.
• 가정된 문항 수. n이 가정값이거나 유효 수인 경우(2절), 해당 벤치마크의 가중치와 구간은 근사치입니다.

10. 데이터 출처와 라이선스

필수 표기:

• Aider polyglot leaderboard data (Apache-2.0) — https://aider.chat/docs/leaderboards/
• Arena leaderboard dataset on Hugging Face (CC BY 4.0) — https://huggingface.co/datasets/lmarena-ai/leaderboard-dataset
• Berkeley Function Calling Leaderboard, Gorilla project (Apache-2.0) — https://gorilla.cs.berkeley.edu/leaderboard.html
• Epoch AI, ‘Capabilities & benchmarking’ (CC BY 4.0) — https://epoch.ai/benchmarks
• API list prices via LiteLLM's price table (MIT); each price links to the developer's pricing page — https://github.com/BerriAI/litellm/blob/main/model_prices_and_context_window.json
• Source: OpenRouter (openrouter.ai), licensed under CC BY 4.0: reuse and republish with attribution to OpenRouter. — https://openrouter.ai/api/v1/datasets/exports/README.md

11. 버전

방법 버전은 모든 모델 페이지와 모든 데이터 파일에 표시됩니다. 패치 버전은 매개변수를 바꾸지 않고 데이터나 파싱 오류를 수정하며, 마이너 버전은 재보정(월간, 또는 동결된 벤치마크가 개정된 값으로 전환될 때)이고, 주 버전은 변환, 모델, 영역, 벤치마크 세트 또는 기준 그룹을 바꾸며 다시 계산한 이력이 함께 제공됩니다. 모델 페이지의 이력 곡선은 항상 매일 보관된 입력을 현재 매개변수로 다시 채점하므로 방법이 섞이지 않으며, 이 입력은 /data/history.json에 공개되어 있어 5절의 공식으로 모든 지점을 다시 계산할 수 있습니다.

• 1.0.0 (2026년 10월 18일): 첫 버전.