수학 추론 평가를 위한 비교 신호 기반 반효율 추정기

초록

수학 문제에서 LLM이 정답을 맞추지 못하더라도 두 후보 해답을 비교해 어느 쪽이 더 나은지 판단할 수 있다는 점을 활용한다. 논문은 이러한 비교 신호를 제어변수로 사용해 효율적인 반효율 추정기를 설계하고, 효율적인 영향함수(EIF)를 기반으로 한 원스텝 추정법을 제안한다. 이 방법은 기존 단순 평균보다 분산을 확실히 감소시키며, 작은 샘플에서도 정확한 성능 추정과 모델 순위 결정을 가능하게 한다.

상세 분석

본 연구는 LLM의 수학적 추론 능력을 평가할 때, 전통적인 “정답 여부” 라벨만을 이용하는 것이 샘플 수가 제한된 벤치마크에서 높은 변동성을 초래한다는 문제점을 지적한다. 특히 어려운 문제에서는 모델이 정답을 생성하지 못하더라도 두 후보 해답을 비교해 어느 쪽이 더 타당한지 판단하는 능력이 비교적 안정적이라는 ‘생성‑검증 격차’를 관찰한다. 이를 바탕으로 저자들은 (1) 보조 LLM이 생성한 두 개의 추론 체인과 (2) 타깃 LLM이 제공하는 비교 신호(v) 를 하나의 부가 정보 Z 로 정의하고, 이를 제어변수(control variate)로 활용한다.

통계적 프레임워크는 반효율(semi‑parametric) 모델을 채택한다. 가정 3.1에 따라 Z의 조건분포 p(z|x)가 완전히 알려졌으며, 이는 실험 설계 단계에서 Monte‑Carlo 샘플링으로 정확히 추정 가능하다는 점이 핵심이다. 이러한 구조 하에 효율적인 영향함수(EIF)를 유도하고, ψ(X,Y,G,Z)= (m(X)−θ)−