FaithRL: 단계별 신뢰성 극대화로 올바른 추론을 학습하다

초록

FaithRL은 기존의 결과 중심 보상 방식이 중간 단계에 대한 감독을 제공하지 못해 발생하는 과신과 허위 추론 문제를 해결한다. 저자는 추론 신뢰성을 직접 최적화하는 목표를 수식화하고, 기하학적 보상 설계와 신뢰성‑인식 어드밴티지 변조 메커니즘을 도입해 단계별로 근거 없는 단계에 페널티를 부여한다. 다양한 LLM 백본과 멀티홉 QA 벤치마크에서 Hallucination 비율을 평균 4.7% 감소시키면서 정답 정확도는 1.6% 상승한다. 또한, 모델이 학습 과정에서 신뢰성 있는 추론 비율을 크게 높이고, OOD(Out‑of‑Distribution) 상황에서도 견고하게 일반화한다.

상세 분석

FaithRL 논문은 현재 RL‑with‑Verifiable‑Rewards(RLVR) 패러다임이 “스파스한 최종 보상”에 의존함으로써 중간 추론 단계에 대한 피드백이 부족하고, 결과적으로 모델이 과도한 자신감(over‑confidence)이나 무조건적인 회피(over‑conservativeness)를 보이는 현상을 정확히 짚어낸다. 저자는 이를 해결하기 위해 “추론 신뢰성(faithfulness)”을 최적화 목표로 정의하고, 두 가지 핵심 기술을 제시한다.

첫 번째는 기하학적 보상 설계이다. 기존 보상은 정답 여부만을 0/1로 표시했지만, FaithRL은 모델의 초기 능력점(E₀)과 최적화 후 능력점(E₁)을 2‑차원 평면(정확도 vs. 허위율)에 매핑하고, 이 두 점이 원점(O)과 이상점(E* = (1,0))을 이루는 삼각형 면적 비율을 “진실성‑도움점(THS)”으로 정의한다. 이 설계는 정답률을 높이면서 허위율을 동시에 낮추는 방향으로 보상을 자동 조정한다는 점에서 파라미터 튜닝 부담을 크게 감소시킨다.

두 번째는 **신뢰성‑인식 어드밴티지 모듈레이션(Faithfulness‑aware Advantage Modulation)**이다. 기존 GRPO(Group‑Relative Policy Optimization)에서는 그룹 내 보상의 평균·표준편차를 이용해 어드밴티지를 정규화했지만, 단계별 근거 검증을 전혀 반영하지 못한다. FaithRL은 외부 검증기(V)를 통해 각 추론 단계 sᵢ가 요구되는 증거 집합 E(q)와 일치하는지를 판단한다. 근거가 충분히 제공된 단계는 양의 어드밴티지를 그대로 유지하고, 근거가 부족하거나 불필요한 단계는 강력히 페널티한다. 이렇게 하면 “정답을 맞추기 위해 무관한 추론을 삽입”하는 현상을 억제하고, 모델이 모든 단계에서 논리적 연쇄를 유지하도록 강제한다.

이론적 측면에서는 정리 4.1을 통해 세 가지 목표(A: 정확도 극대화, B: 허위 최소화, C: 신뢰성 극대화)의 장기적 행동을 분석한다. 목표 A는 과신으로 인해 거부율 P(M)→0, 목표 B는 과보수성으로 인해 거부율 P(M)→1에 수렴한다. 반면 목표 C는 모델 고유의 내재 능력에 따라 거부율이 안정적인 균형점에 머무른다. 이는 “신뢰성”을 최적화함으로써 과도한 추측과 과도한 회피 사이의 중간 지점을 자연스럽게 찾는 메커니즘을 제공한다는 의미다.

실험에서는 Llama‑2‑7B, GPT‑3.5‑Turbo 등 다양한 백본을 사용해 HotpotQA, MultiHopQA, MuSiQue 등 멀티홉 QA 데이터셋과 Math500, GSM8K 같은 수학 문제에 적용했다. 결과는 전반적으로 Hallucination 비율을 4.7%p 감소, 정답 정확도는 1.6%p 상승했으며, 특히 OOD 테스트에서는 정확도 10.8%p 상승, 허위율 8.4%p 감소라는 눈에 띄는 개선을 보였다. 단계별 신뢰성 비율도 학습 초기에 31.1%p(인‑도메인)와 6.5%p(아웃‑도메인) 상승했다.

전체적으로 FaithRL은 “결과만 보상”하는 기존 RLVR의 한계를 논리·증거 기반의 세밀한 보상 체계와 어드밴티지 변조로 극복한다는 점에서 의미가 크다. 특히, 추론 과정 자체를 검증하고 보상에 반영함으로써 LLM이 “정답을 맞추기 위해 허위 추론을 숨기는” 전략을 방지하고, 실제 지식 기반 추론 능력을 강화한다는 점이 향후 LLM 안전성·신뢰성 연구에 중요한 전환점이 될 것으로 기대된다.