4개 한국어 데이터셋으로
측정한 Judge 정확도.

데이터 출처별 정확도

자체 큐레이션은 결함이 명시적이어서 정확도가 높지만, 실제 학술 데이터(KMMLU)에서는 Judge 가 미묘한 답안 swap 을 식별하기 어렵다. 분야별 강·약점이 명확히 드러나는 결과.

학문 분야별 세부 정확도 (각 n=10)

Computer-Science 가 가장 잘 동작 (80%, ρ=0.87) · Math 와 Law 는 정답 swap 식별 한계가 명확 (40~60%). 이 데이터는 Calibration 학습 셋으로 활용해 분야별 임계값을 조정할 수 있다.

단일 judge vs 앙상블 — 글로벌 프론티어 2 + 한국어 특화 1

같은 300건을 세 모델 단독과 3-judge 앙상블로 평가했다. 핵심은 실패 방식의 비대칭 — Judge A는 관대해서 일부러 틀린 데이터의 27%를 통과시키고(부패 recall 0.73), Judge B는 엄격해서 clean을 과탐한다(precision 0.58). 한국어 특화 Judge C는 단일 정확도 1위(77.0%). 3-judge 앙상블이 정확도(78.3%)·F1(0.804) 모두 1위 — 단, ECE(보정오차)는 단일 judge 구성이 최고이며 이 격차는 calibration 적용 시 해소된다(보정 후 최고 단일 judge 83.3%, 전 arm ECE 대폭 개선).

honest note · n=300 (Curated 30 + KMMLU 120 + HAE-RAE 40 + KorQuAD 110) · 합성 부패(정답 swap) 기반. ECE 최저는 단일 judge 구성(0.111, 3-judge 0.124)이고 부패 recall 최고는 2-judge(0.947, 3-judge 0.887) — 용도별 구성 선택이 가능하며, 라우팅 구간(모델 불일치)에서는 인간 검수가 점수를 대체한다(인간 분리력 1.82 vs 앙상블 0.05, n=31 블라인드 검수 실측).

평가에 사용된 데이터

샘플별 판정 결과

전체 120건 표시. 전체 raw JSON은 다운로드 가능.

측정 방법

1. Ground truth. 자체 큐레이션은 작성자가 clean/corrupted 라벨과 결함 유형을 부착. KMMLU·HAE-RAE·KorQuAD 는 검증된 정답이 포함된 객관식 / 독해 문제이므로 원본을 clean, 정답을 인접 보기 또는 다른 샘플 답으로 swap 한 버전을 corrupted 로 정의.
2. Judge 호출. 모든 샘플을 고정된 단일 judge (JUDGE_MODEL_PRIMARY) · temperature=0 · 한국어 추론 도메인 루브릭으로 평가. 동시성 3, 실패 시 자동 재시도 3회.
3. 임계값. weighted_total ≥ 4.0이면 "clean"으로 예측, 미만이면 "corrupted"로 예측.
4. 지표 계산. sklearn (accuracy_score, precision_recall_fscore_support, confusion_matrix) + scipy (spearmanr) 사용. ECE는 10-bin reliability 직접 구현. Per-source 와 per-subject 분대 지표를 별도 산출.

⚠ 한계 인정: KMMLU 와 같이 정답이 미묘한 학술 객관식에서는 단일 LLM Judge 만으로는 식별이 어렵다 (Math 40%, Law 60%). 운영 단계에서는 (1) 다중 Judge 앙상블 (서로 다른 3개 모델 가족), (2) 도메인별 Calibration (Isotonic Regression), (3) 인간 검수자 IRR (Cohen's κ ≥ 0.7) 누적으로 정확도를 끌어올린다. 본 측정치는 단일 Judge baseline 임을 명시.

의뢰사 데이터로 측정해보시겠어요?

100건 샘플로 1시간 안에 동일한 정확도 리포트를 발급합니다.