노이즈 반응 캘리브레이션: LLM 판사의 신뢰성을 검증하는 인과 개입 프로토콜

**1. 연구 배경 및 동기** 최근 LLM을 활용한 자동 라벨링·판사(LLM‑as‑a‑Judge) 시스템이 저비용 라벨링 및 의사결정 파이프라인에 널리 도입되고 있다. 그러나 LLM은 본질적으로 확률적이며 과신(over‑confidence) 경향이 있어, 외부의 충분한 정답 라벨이 없는 상황에서 배포 위험성을 판단하기 어렵다. 특히 입력에 미세한 변화를 주었을 때 출력이 급격히 변동하는 ‘불안정성’이 고위험 도메인에서 큰 문제로 대두된다. **2. 핵심 아이디어와 가설** 저자들은 이러한 문제를 ‘인과적 개입’ 관점에서 접근한다. 입력에 제어된 노이즈를 가하고, 노이즈 강도가 증가할수록 성능이 단조 감소한다는 ‘노이즈‑응답 단조성 가설’을 설정한다. 이를 H₀(노이즈 증가에도 성능이 비단조적으로 변한다)와 H₁(노이즈 증가 시 기대 성능이 감소한다)로 구분하고, 통계적 검정으로 가설을 평가한다. **3. 노이즈 설계** - **탭형 데이터**: 신호‑대‑노이즈 비율(SNR, dB) 기반 스케줄을 정의한다. SNR을 α=10^{‑SNR/10} 로 변환해 노이즈 파워를 조절하고, (i) 비상관 가우시안(대각 공분산) 노이즈와 (ii) 원본 데이터의 공분산 구조를 보존하는 상관 가우시안 노이즈 두 종류를 적용한다. - **텍스트 데이터**: 어휘 교란을 사용한다. 토큰당 교란 확률 p(α)=α·p_max 로 설정하고, 삭제·문자 교환·키보드 인접 오타·무작위 삽입·삭제 중 하나를 무작위로 적용한다. **4. 실험 프로토콜** 알고리즘 1에 따라, 각 데이터셋·노이즈 레벨마다 R=5번 독립 반복을 수행하고 성능 지표 Pₖ,ᵣ(정확도, R² 등)을 기록한다. 이후 선형 회귀 Pₖ,ᵣ = β₀ + β₁·nₖ + ε 를 적합하고, β₁에 대한 일방향 t‑검정(α=0.05)으로 기울기가 음수인지 판단한다. β₁<0이 유의하면 ‘노이즈에 민감(sensitive)’하다고 라벨링한다. **5. 데이터 및 모델** - **탭형**: UCI 저장소에서 138개의 분류·21개의 회귀 데이터셋을 선정(숫자형 피처 ≥50% 등 필터링 후). - **텍스트**: IMDB, Yelp Review Full, SST‑2, Financial PhraseBank 네 개의 감성 분류 데이터. - **모델**: OpenAI GPT‑5‑MINI를 기본 LLM‑judge 로 사용, 20개의 few‑shot 예시와 간단한 시스템 프롬프트 제공. **6. 주요 결과** - **텍스트**: 모든 네 데이터셋이 노이즈 강도 증가에 따라 성능이 통계적으로 유의하게 감소하였다. 특히 강한 어휘 교란(α≈0.5)에서는 정확도가 30% 이상 급락했다. - **탭형 분류**: 49/138(35.5%) 데이터셋만이 기울기 검정에서 H₁을 채택, 나머지는 노이즈에 거의 반응하지 않음. - **탭형 회귀**: 5/21(23.8%) 데이터셋이 민감성을 보였다. - **노이즈 유형 비교**: 비상관·상관 가우시안 노이즈 간 평균 성능 차이는 미미했으며, 이는 LLM‑judge가 개별 피처의 상관 구조보다 전체 신호 강도에만 민감함을 시사한다. **7. 해석 및 시사점** - 텍스트에서는 LLM‑judge가 어휘 수준의 변형에 취약함을 확인했으며, 이는 기존 ‘lexical robustness’ 연구와 일치한다. - 탭형 데이터에서 다수 모델이 노이즈에 무감각한 것은, 모델이 데이터의 실제 구조적 신호보다 프롬프트·few‑shot 예시와 같은 메타 정보에 의존하고 있음을 암시한다. 이런 경우, 평균 정확도가 높더라도 실제 배포 시 예기치 않은 입력 변동에 취약할 수 있다. - 따라서 제안된 ‘노이즈‑응답 캘리브레이션’은 단순 성능 보고를 보완하는 신뢰성 경고 신호로 활용 가능하다. **8. 한계 및 향후 연구** - 현재 사용한 노이즈 패턴이 실제 도메인 시프트를 완전히 대변하지 않을 수 있다(예: 결측·오류 데이터, 시간적 드리프트 등). - 프롬프트 설계와 few‑shot 선택이 결과에 미치는 영향이 충분히 통제되지 않았다. - 단일 LLM(GPT‑5‑MINI)만 평가했으며, 다른 모델·크기·훈련 방식에 대한 일반화 검증이 필요하다. - 향후 연구에서는 (1) 다양한 노이즈·왜곡 유형 확대, (2) 다중 모델·다중 샷 설정 비교, (3) 실제 산업 현장 데이터에 대한 현장 시험을 제안한다. **9. 결론** 본 논문은 “노이즈‑응답 캘리브레이션”이라는 실용적 프로토콜을 제시함으로써, LLM‑judge가 배포 전 신뢰성을 평가할 수 있는 정량적 기준을 제공한다. 텍스트와 탭형 데이터 간의 명확한 모달리티 차이를 발견했으며, 특히 탭형 작업에서 노이즈에 무감각한 경우가 많아 추가적인 검증이 필요함을 강조한다. 이 접근법은 고위험 응용에서 LLM‑judge의 안전성을 확보하고, 연구·산업 현장에서 보다 책임감 있는 AI 활용을 촉진할 수 있다.