적응형 테스트 시점 연산 할당: 범주 구조 기반 학습 휴리스틱

초록

테스트 시점에 검증 비용이 제한된 상황에서, 중간 단계별로 검증 호출을 선택적으로 할당하는 프레임워크를 제안한다. 구조화된 연산 인터페이스와 결정적 게이트, 학습된 상태‑거리와 잔차 점수를 결합한 사전 검증 순위, 그리고 지역 불확실성에 기반한 적응형 검증 예산 배분을 통해 MATH 벤치마크에서 기존 베스트‑오브‑N, 다수결, 빔 서치 대비 44% 적은 검증 호출로 정확도를 향상시킨다.

상세 분석

이 논문은 대형 언어 모델(LLM)의 추론 파이프라인에서 검증 비용이 병목이 되는 현상을 정확히 짚어낸다. 기존의 베스트‑오브‑N이나 셀프‑컨시스턴시와 같은 솔루션‑레벨 전략은 전체 답안을 여러 번 생성하고 후처리하는 방식으로, 중간 단계에서 발생하는 불필요한 검증 호출을 최소화하지 못한다. 저자는 이를 해결하기 위해 “상태‑레벨 선택적 검증”이라는 새로운 패러다임을 도입한다. 핵심은 (1) 구조화된 연산 인터페이스를 활용해 파싱 오류, 스코프 불일치, 명시적 제약 위반 등을 결정적으로 차단하는 ‘게이트’를 두어 검증 호출 자체를 사전에 차단하고, (2) 남은 후보들을 ‘구조적 거리(D_type)’와 ‘학습된 잔차 점수(r_θ)’의 합으로 순위 매기는 사전 검증 스코어링을 적용한다. 여기서 구조적 거리는 현재 상태와 목표 상태 사이의 임베딩 기반 거리이며, 잔차 점수는 검증 라벨(0/1)로부터 수집한 데이터로 학습된 순위 모델이다. 특히, 잔차 점수는 상태‑별 후보 리스트 내에서 검증이 긍정적인 후보를 상위에 두도록 로그-피어스톤 손실을 최소화한다. (3) 마지막 단계에서는 각 상태의 불확실성을 추정해 검증 예산 k(w)를 동적으로 할당한다. 불확실성이 높은 분기점에서는 더 많은 검증 호출을 허용하고, 명확한 선택이 가능한 경우 최소한의 검증만 수행한다. 이러한 세 단계가 결합된 파이프라인은 검증 호출을 ‘가장 정보량이 큰’ 순간에 집중시켜, 전체 비용 대비 정확도 향상을 달성한다. 실험은 수학 문제 해결에 특화된 MATH 벤치마크에서 수행됐으며, 동일한 총 검증 호출 수 한도 하에 기존 베스트‑오브‑N, 다수결, 빔 서치보다 높은 정확도를 기록했다. 특히 44% 적은 검증 호출로도 동일하거나 더 높은 성공률을 보였다는 점은, 검증 비용이 제한된 실제 서비스 환경에서 큰 실용적 가치를 가진다. 논문은 또한 검증 라벨을 활용한 학습 데이터 생성, 구조적 거리의 구현 방법, 그리고 불확실성 추정에 사용된 프록시(예: 후보 점수 분산) 등 구현 세부사항을 상세히 제시해 재현성을 높였다. 전체적으로, 검증 비용을 비용 함수에 명시적으로 포함하고, 상태‑레벨에서의 선택적 검증을 통해 비용‑효율적인 추론을 구현한 점이 가장 큰 공헌이라 할 수 있다.