확률 제약 추론: 대규모 언어 모델의 환각 위험을 통제하는 새로운 접근법

초록

본 논문은 대규모 언어 모델(LLM)의 핵심 문제인 ‘환각’(올바르지 않은 정보 생성)을 해결하기 위한 새로운 추론 프레임워크인 ‘확률 제약 추론(Chance-Constrained Inference, CCI)‘을 제안합니다. 기존 방법이 평균 오류율만 줄이는 데 그친 반면, CCI는 모델이 반복적으로 사용될 때 발생하는 환각의 빈도 자체를 명시적으로 제한하는 통계적 보장을 제공합니다. 환각을 확률적 제약 위반으로 모델링하고, 순차적 검증을 통해 위험 예산을 준수하는지 효율적으로 판단하며, 실현 불가능한 입력은 조기에 감지하여 안전하게 기권(abstain)할 수 있습니다. 실험을 통해 CCI가 기존의 신뢰도 기반 필터링 방법보다 훨씬 안정적인 위험 제어를 달성함을 입증했습니다.

상세 분석

이 논문의 핵심 기여는 LLM의 배포 안전성을 ‘확률 제약 최적화(Chance-Constrained Optimization)‘라는 수리적 프레임워크로 격상시켰다는 점입니다. 기존의 환각 완화 기술(검증, 신뢰도 기반 필터링, Conformal Prediction 등)은 주로 사후 검출 또는 평균 성능 향상에 초점을 맞췄습니다. 반면, CCI는 특정 입력에 대해 모델이 생성하는 출력의 전체 분포 수준에서 “사용자에게 보여지는 응답 중 허용 가능한 위험 수준(예: 5%)을 초과하는 경우가 얼마나 되는가"라는 질문에 직접 답합니다.

핵심 메커니즘은 ‘순차적, 언제든 유효한(anytime-valid) 추론’ 절차입니다. 주어진 입력과 위험 예산(ε)에 대해, 시스템은 출력을 하나씩 생성하고 검증합니다. 이 과정에서 누적된 위반 사례 수와 전체 생성 수를 바탕으로, 현재의 조건부 위반 확률이 예산 ε 이하임을 ‘통계적으로 보장’할 수 있는지, 아니면 이미 예산을 초과했음을 ‘보장’할 수 있는지를 실시간으로 판단합니다. 전자가 증명되면 다음 생성 결과를 사용자에게 반환하고(수락), 후자가 증명되면 해당 입력은 ‘실현 불가능’으로 판단되어 시스템이 기권합니다.

이 접근법의 강점은 세 가지입니다. 첫째, ‘조기 종료(Early Stopping)‘가 가능합니다. 모델이 특정 질문에 대해 본질적으로 높은 위험 확률을 갖는 경우(예: 모호하거나 증거가 부족한 질문), 많은 샘플을 생성하지 않고도 빠르게 ‘실현 불가능’을 판단하여 불필요한 계산과 잠재적 오류 노출을 줄입니다. 둘째, ‘조건부(Conditional) 위험 제어’를 제공합니다. 기존 Conformal Prediction 방법이 전체 데이터셋에 대한 ‘주변적(Marginal) 보장’을 주는 반면, CCI는 개별 입력 단위로 위험을 통제합니다. 이는 각 쿼리가 독립적으로 위험 예산을 준수해야 하는 실제 배포 환경에 더 부합합니다. 셋째, 방법론의 ‘모델 불가지론적(Model-Agnostic)’ 성격입니다. CCI는 기본 LLM을 재학습하거나 미세 조정할 필요 없이, 검증기(Verifier) 함수 H(x,y)와 추론 프로시저만으로 구현 가능합니다. 이는 다양한 검증 방식(팩트 체크, 논리 검증, 정책 준수 등)과 유연하게 결합될 수 있음을 의미합니다.

실험 결과는 이론적 장점을 입증합니다. 신뢰도 기반 필터링은 위험 예산을 일관되게 준수하지 못한 반면(과소 또는 과대 추정), CCI는 설정된 예산 수준(1%, 5%)을 거의 정확히 달성했습니다. 또한, ‘실현 불가능’ 입력에 대해서는 기준 방법보다 훨씬 적은 샘플로 조기 기권 결정을 내렸습니다. 이는 CCI가 단순히 위험을 제한하는 것을 넘어, 시스템의 ‘자기 인식(Self-awareness)’ 능력을 향상시켜 신뢰할 수 있는 의사결정을 지원함을 보여줍니다.