자동 편향 탐지를 위한 BiasScope 프레임워크와 JudgeBench Pro

초록

LLM‑as‑a‑Judge 평가에서 발생할 수 있는 알려지지 않은 편향을 자동으로 발굴·검증하는 BiasScope를 제안한다. 교사 LLM을 이용해 기존 편향을 변형하고, 모델의 오판 설명을 심화시켜 새로운 편향 후보를 생성한다. 후보 편향은 별도 테스트셋에서 오류율 상승 여부로 검증되어 편향 라이브러리에 누적된다. 이를 기반으로 기존 JudgeBench를 확장한 JudgeBench Pro를 구축했으며, 최신 강력한 LLM조차 50 % 이상의 오류율을 보이는 등 평가 신뢰성 확보의 시급성을 강조한다.

상세 분석

BiasScope는 LLM‑as‑a‑Judge 환경에서 “편향”을 정량·정성적으로 탐색하기 위한 두 단계 파이프라인으로 설계되었다. 첫 번째 단계인 Bias Discovery에서는 교사 모델(M_T)을 활용해 기존 편향 라이브러리 B_t에 포함된 기본 편향을 목표 데이터셋 D의 거부 응답 y_r에 적용한다(함수 Perturb). 이렇게 변형된 데이터 ˜D_t에 대해 평가 대상 모델 M을 실행하고, 선택된 정답 y_c와 비교해 오판 사례를 추출한다. 오판된 샘플은 모델이 제공한 설명 E를 기반으로 “오류 연쇄” 전략을 적용해 더 깊은 설명 E′을 생성한다. 이 과정은 모델이 스스로 만든 잘못된 추론을 확대함으로써 잠재적 편향 신호를 증폭시키는 역할을 한다.

다음으로 교사 모델이 ˜D_final_t 의 (입력, 정답, 변형 거부 응답, 심화 설명) 쌍을 분석해 새로운 편향 b_j를 식별한다(IdentifyBias). 여기서는 편향을 “설명‑기반”으로 추론하므로, 기존 연구에서 지적된 ‘선호 누수’ 문제를 최소화한다. 식별된 편향은 기존 라이브러리와 병합·중복 제거 과정을 거치며, Merge 함수는 LLM‑LLM 간 쌍별 비교를 통해 의미적으로 중복되는 편향을 하나로 통합한다. 이렇게 확장·정제된 편향 집합 C_t는 검증 단계로 넘어간다.

Bias Validation 단계에서는 별도 테스트셋 D_test에 각 후보 편향 b_j를 적용해 변형 데이터 ˜D_test_j를 만든다. 대상 모델 M을 원본 D_test와 변형 ˜D_test_j에 각각 평가하고, 오류율 Err를 계산한다. 변형 데이터에서 오류율이 상승하면 해당 편향을 “유효”로 판단하고 B_{t+1}에 추가한다. 이 검증 메커니즘은 편향이 실제 평가 성능에 미치는 영향을 직접 측정하므로, 단순 통계적 편향 탐지보다 신뢰도가 높다.

실험에서는 Qwen, LLaMA, Mistral, InternLM 등 다양한 모델군을 대상으로 BiasScope를 적용했으며, 기본 편향 라이브러리(길이, 자기, 권위 등)만 사용했을 때보다 평균 오류율이 5~12 % 포인트 상승함을 확인했다. 특히, 새로 발굴된 “Novelty Bias”(새롭거나 이색적인 정보에 과도한 가중)와 “Exact Match Bias”(원문과 일치하는 답변을 과도 선호)와 같은 편향은 기존 벤치마크에 포함되지 않았음에도 평가에 큰 영향을 미쳤다.

BiasScope를 기반으로 만든 JudgeBench Pro는 기존 JudgeBench에 위에서 검증된 편향을 적용해 만든 교란 샘플을 추가함으로써 난이도를 크게 높였다. 5개의 최신 LLM을 평가했을 때, 4개 모델이 무작위 추측 수준(≈50 % 오류)에 근접하거나 그 이상을 기록했다. 이는 현재 LLM‑as‑a‑Judge 시스템이 알려진 편향뿐 아니라 아직 탐색되지 않은 편향에도 취약함을 실증한다.

이 논문의 핵심 기여는 (1) LLM 자체를 교사·검증자로 활용해 편향을 자동·대규모로 탐색하는 프레임워크를 제시한 점, (2) 편향 탐지를 “오판 설명”이라는 새로운 신호원에 기반해 수행함으로써 기존 방법보다 더 풍부한 편향 후보를 도출한 점, (3) 발견된 편향을 실제 평가에 적용해 검증함으로써 편향 라이브러리를 지속적으로 확장·정제할 수 있음을 입증한 점, (4) 이러한 과정을 통해 보다 도전적인 평가 벤치마크인 JudgeBench Pro를 구축하고, 현행 LLM‑as‑a‑Judge의 신뢰성 한계를 명확히 드러낸 점이다. 향후 연구는 교사 모델의 규모·프롬프트 설계 최적화, 다중 언어·다중 도메인 편향 탐색, 그리고 편향 완화를 위한 사전 학습·후처리 전략과의 연계 등을 통해 평가 로봇의 공정성과 견고성을 한층 강화할 수 있을 것으로 기대된다.