일관된 LLM 답변을 위한 최적 베이지안 중단 전략

초록

본 논문은 LLM의 답변 일관성을 활용해 정확도를 높이는 기존 Self‑Consistency 방법을 확장한다. 베이지안 사전 정보를 이용해 샘플링 비용을 절감하고, 충분한 일관성이 확보되면 조기에 중단하는 적응형 중단 규칙을 제안한다. 정확한 사후 확률 계산이 팩토리얼 복잡도로 비현실적이므로, 가장 빈번한 L‑1개의 답변만 추적하는 “L‑aggregated” 근사법을 도입한다. 이론적으로 L=3이면 비근사 최적 중단과 동일한 asymptotic optimality를 달성함을 증명하고, 실험을 통해 50%까지 LLM 호출을 줄이면서 정확도는 유지함을 보인다.

상세 분석

이 논문은 LLM이 생성하는 다중 답변을 “most‑frequent answer” 즉, 모드(answer mode)를 찾는 문제를 순차적 가설 검정으로 재구성한다. 기존 Self‑Consistency(SC)는 고정된 샘플링 예산을 사용해 다수결로 모드를 추정하지만, 질문 난이도에 따라 불필요한 연산이 발생한다. 저자들은 사전 확률 π=(p₁,…,p_K) 를 베이지안 사전으로 설정하고, 각 샘플링 단계에서 관측된 답변들의 빈도(multiset)와 그 빈도별 카운트(count‑of‑counts) C_n을 이용해 사후 확률 P(H_i|C_n)를 계산한다. 여기서 H_i는 “가장 빈번한 답변이 i번째 빈도에 해당한다”는 가설이다. 정확한 사후 확률은 모든 가능한 답변 라벨 매핑 ψ∈S_M을 전부 합산해야 하므로 O(K!)의 복잡도를 가진다. 이를 해결하기 위해 저자들은 “L‑aggregated” 근사를 제안한다. L개의 그룹을 정의해 상위 L‑1개의 가장 빈번한 답변을 별도로 추적하고, 나머지 답변은 하나의 집합으로 합친다. 이렇게 하면 사후 확률 계산이 O(K·L)로 감소한다. 특히 L=3일 때, 가장 빈번한 답변, 두 번째 빈번한 답변, 그리고 그 외 모든 답변을 각각 하나의 통계량으로 유지한다. 이 두 통계량—(i) 최빈도 비율, (ii) 최빈도와 2위 빈도 차—만으로도 정확한 사후 확률의 기대값을 유지하면서 asymptotic optimality를 보장한다는 것이 핵심 이론이다. 저자들은 L=2(즉, 최빈도만 추적)도 사전이 정확히 알려진 경우에는 기존 무사전 ASC보다 우수하지만, 사전이 불확실하거나 다중 후보 사전이 존재할 때는 L≥3이 필요함을 증명한다. 또한, 사전이 완전히 알려지지 않은 상황에서는 사전 분포를 데이터로부터 추정하는 방법을 제시하고, 추정된 사전으로도 L=3 근사가 강건함을 실험적으로 확인한다. 실험에서는 수학·논리·코드 생성 등 다양한 도메인에서 기존 ASC 대비 평균 30~50% 적은 샘플 수로 동일 수준의 정확도를 달성했으며, 특히 어려운 질문에서는 사전 정보를 활용해 조기 중단이 크게 개선되는 모습을 보였다. 전체적으로 이 논문은 베이지안 관점에서 “언제 멈출 것인가”라는 질문을 명확히 정의하고, 계산 효율성을 유지하면서도 이론적 최적성을 확보하는 실용적인 알고리즘을 제공한다.