정책 제로 상태를 위한 범용 가치 모델 V₀

초록

V₀는 정책의 과거 인스트럭션‑성능 쌍을 컨텍스트로 받아, 파라미터 업데이트 없이도 어떤 LLM 정책의 초기 프롬프트 성공 확률을 예측하는 범용 가치 모델이다. 이를 통해 GRPO 학습 시 샘플링 비용을 절감하고, 실서비스에서는 비용‑효율적인 모델 라우팅이 가능함을 실험적으로 입증한다.

상세 분석

본 논문은 기존 PPO‑형 액터‑크리틱 구조에서 발생하는 “가치 모델‑정책 결합(d coupling) 문제”를 근본적으로 재구성한다. 전통적인 가치 함수 V ϕ(x)는 정책 파라미터 θ와 강하게 얽혀 있어, 정책이 진화할 때마다 가치 모델을 동기화해야 하는 높은 연산·메모리 비용이 발생한다. 이를 회피하기 위해 제안된 GRPO는 그룹 평균 보상을 베이스라인으로 사용하지만, 보상의 분산이 커지면서 대규모 몬테카를로 샘플링이 필요해 실용성이 떨어진다. V₀는 이러한 두 접근법의 단점을 동시에 해소한다. 핵심 아이디어는 정책을 “숨은 변수”가 아니라 명시적 컨텍스트 Cπ = {(xi, ri)}ₙ 로 취급하는 것이다. 즉, 정책의 현재 능력은 과거에 수행한 인스트럭션‑성공 여부의 집합으로 표현되며, 이 정보를 하나의 포워드 패스에 삽입해 가치 추정을 수행한다.

구현 측면에서 V₀는 세 단계로 구성된다. 첫째, 사전 학습된 임베딩 백본이 입력 프롬프트와 컨텍스트 쿼리를 고차원 의미 벡터 h 로 변환한다. 둘째, Residual Query Adapter가 정적 쿼리 Q_static와 동적 오프셋 ΔQ = G(h)를 결합해 다중 헤드 어텐션(MHA)을 수행, 의미 벡터를 구조화된 특성 zₖ (K 채널) 로 변환한다. 이는 TabPFN이 요구하는 표 형식 입력과 일치하도록 설계된 “시맨틱 프리즘” 역할을 한다. 셋째, TabPFN 인퍼런스 헤드가 변환된 과거 쌍 {(zᵢ, ri)}와 목표 zₜ를 이용해 베이지안 사후 예측분포 P(r | zₜ, {(zᵢ, ri)})를 한 번의 전방 연산으로 추정한다.

학습 과정에서는 두 가지 손실을 결합한다. (1) 소프트 크로스 엔트로피는 절대 확률 보정을 담당하고, (2) 브래들리‑터리 순위 손실은 동일 컨텍스트 내에서 서로 다른 쿼리 간 상대적 점수 차이를 강제한다. 이는 논문이 제시한 “단축 경로(shortcut) 편향”을 완화한다. 정보 이론적 분석에 따르면, 순수 CE 손실만 사용하면 모델이 I(Y; C) > 0인 컨텍스트 편향에 과도히 의존해 X와의 조건부 상호작용 I(Y; X|C)를 학습하지 못한다. 순위 손실을 도입함으로써 모델은 동일 컨텍스트 내에서 쿼리 간 차이를 구분하도록 강제되어, 진정한 상황‑특정 추론 능력을 확보한다.

실험에서는 두 가지 주요 시나리오를 검증한다. 첫째, GRPO 학습 단계에서 V₀가 정책의 성공 확률을 사전 예측해 샘플링 예산을 동적으로 할당함으로써, 기존 GRPO 대비 동일 학습 단계에서 30 % 이상의 샘플 수 절감과 더 안정적인 보상 곡선을 달성한다. 둘째, 배포 단계에서 V₀를 라우터로 활용해 여러 크기의 LLM(예: 7B, 13B, 34B) 중 비용 대비 성능이 가장 높은 모델을 자동 선택하도록 설계했으며, 이는 기존 히스토리‑기반 라우팅 방법 대비 Pareto 최적점에 더 가깝게 위치한다.

결과적으로 V₀는 “정책 제로 상태 가치 추정”이라는 새로운 문제 정의를 제시하고, 인‑컨텍스트 학습과 베이지안 추론을 결합한 효율적인 아키텍처를 통해 LLM 강화학습과 실서비스 라우팅 모두에서 비용·성능 트레이드오프를 크게 개선한다.