LLM 판정자를 위한 의존성 인식 라벨 집계: 이징 모델 접근

초록

본 논문은 LLM을 판정자로 활용할 때 발생하는 판정 간 상관관계를 무시하는 기존의 조건부 독립 가정이 초래하는 위험성을 지적한다. 이를 해결하기 위해 클래스‑조건부 및 클래스‑공통 이징 그래프 모델을 제안하고, 베이즈 최적 판정이 일반적으로 2차 형태를 갖는 반면, 클래스‑공통 결합에서는 선형 가중 투표 형태로 축소된다는 이론적 결과를 제시한다. 또한, 유한 K 사례와 K→∞ 극한에서 조건부 독립 기반 방법이 비최적임을 증명하고, 실제 데이터셋에서 제안 방법이 기존 베이스라인을 능가함을 실험적으로 검증한다.

상세 분석

논문은 먼저 라벨 집계 문제를 $Y\in{0,1}$와 $K$개의 이진 판정 $J=(J_1,\dots,J_K)$ 로 정의하고, 전통적인 Dawid‑Skene(DS)이나 가중 다수결이 “조건부 독립(CI)” 가정을 전제로 한다는 점을 지적한다. LLM 판정자는 사전 학습 데이터, 모델 아키텍처, 프롬프트 등에서 공유된 특성을 가지므로 판정 간 상관관계가 존재한다. 이러한 상관관계를 무시하면 주변 확률이 왜곡되고, 심지어 개별 판정의 정확도가 0.6 수준이라도 집계 결과가 반대 라벨을 거의 확신하게 될 수 있다.

이를 해결하기 위해 저자들은 이징 모델 $P(J\mid Y=y)\propto\exp\bigl(J^\top h(y)+\tfrac12 J^\top W(y)J\bigr)$ 를 도입한다. 여기서 $h(y)$는 클래스별 편향(판정자가 1을 선택할 경향), $W(y)$는 클래스별 쌍대 상호작용을 나타낸다. $W(y)$가 클래스마다 다르면(클래스‑조건부 이징) 베이즈 로그오즈는 $\Lambda(J)=b_0+\sum_j a_jJ_j+\sum_{j<k}b_{jk}J_jJ_k$ 로 2차 형태가 된다. 반면 $W(0)=W(1)$인 경우(클래스‑공통 이징)에는 $J_jJ_k$ 항이 상쇄되어 $\Lambda(J)=b_0+\sum_j c_jJ_j$ 로 선형 가중 투표가 된다. 이때 $c_j$와 $b_0$는 상관관계를 반영한 보정값이며, 실제로는 “중복 동의”를 과대평가하지 않는다.

이론적 기여는 크게 세 부분이다. 첫째, 모델 계층을 정리해 CI ⊂ 클래스‑공통 이징 ⊂ 클래스‑조건부 이징이라는 포함 관계를 제시하고, 각 단계에서 베이즈 최적 판정이 어떻게 변하는지 수식적으로 증명한다. 둘째, Curie‑Weiss 특수 이징(전역 자기화 $M_K$에만 의존)에서 $β_0<1<β_1$인 두 온도 구간을 설정해, $K\to\infty$일 때 CI 기반 예측자는 사전 확률에만 의존해 위험이 $\min{\pi,1-\pi}$ 로 고정되는 반면, 베이즈 예측자는 $M_K^2$ 임계값 검정으로 위험이 0에 수렴함을 보인다. 이는 “조건부 독립 예측기가 절대적으로 비효율적”이라는 강력한 분리 결과다. 셋째, 잠재 요인 모델(공통 랜덤 효과 $Z$)을 이징 구조와 연결해, $Z$가 존재하면 CI 예측기가 여전히 비최적이며, 약한 결합에서는 저차원 저랭크 이징으로 근사될 수 있음을 보여준다.

실험에서는 3개의 실제 평가 데이터(리레번스, 독성, 요약)와 6개의 LLM 판정자를 사용해, 제안된 클래스‑공통 이징 기반 선형 가중 투표가 DS와 단순 가중 다수결보다 평균 2~5%p 향상된 정확도를 기록한다. 또한, 합성 시뮬레이션을 통해 이론적 분리 현상이 실제 샘플에서도 재현됨을 확인한다.

전반적으로 이 논문은 LLM 판정자 집계에서 “조건부 독립” 가정이 얼마나 위험한지를 정량화하고, 이징 모델을 통한 실용적인 대안을 제시한다는 점에서 학계와 산업 현장 모두에 의미 있는 기여를 한다.