조건부 사실성 제어와 일반화 인증을 위한 컨포멀 샘플링

본 논문은 대형 언어 모델(LLM)의 출력에서 발생하는 환각을 제어하기 위한 새로운 사후(conformal) 프레임워크인 Conditional Factuality Control(CFC)와 그 변형인 CFC‑PAC을 제시한다. 기존의 컨포멀 예측(Conformal Prediction, CP)은 교환 가능성(exchangeability)만을 가정하고 전체 데이터에 대해 하나의 전역 임계값을 학습한다. 이러한 마진형 접근법은 평균 위험률은 만족하지만, 입력 특성에 따라 난이도가 크게 달라지는 경우—예를 들어 복잡한 수학 문제, 희귀 엔티티, 혹은 이미지‑텍스트 멀티모달 상황—에서는 과도한 보수성(큰 예측 집합)이나 부족한 커버리지를 초래한다. 이를 해결하고자 저자들은 ‘조건부 사실성 제어(Conditional Factuality Control, CFC)’를 고안하였다. CFC의 핵심은 ‘성공 점수(success score)’ S(X) 를 정의하는 것이다. S(X)는 주어진 프롬프트 X에 대해 샘플링된 후보 중 정답이 되는 후보들의 검증 점수 V(X, y) 중 최소값으로, 작은 값일수록 정답에 가깝다. CFC는 이 잠재 점수 S(X)를 입력 특성 Φ(X)에 조건부로 연결하는 증강된 분위수 회귀(augmented quantile regression) 모델을 학습한다. 구체적으로, 파라미터 β_s를 다음 최적화 문제를 통해 구한다. β_s = argmin_{β∈ℝ^d} (1/N)∑_{i=1}^N ρ_{1−α}(S_i − Φ(X_i)^Tβ) + (1/N) ρ_{1−α}(s − Φ(x)^Tβ), 여기서 ρ_{1−α}(u)=u·(1−α−𝟙_{u<0})는 핀볼 손실이며, s∈