복잡한 추론 품질을 정의하고 최적화하는 새로운 프레임워크

초록

본 논문은 추론 트레이스를 매크로·마이크로 수준과 효율·효과성 두 축으로 평가하는 ME² 원칙을 제시하고, 이를 기반으로 DAG(Directed Acyclic Graph) 형태로 구조화한 뒤 쌍대 비교 평가 방식을 도입한다. 구축된 TRM‑Preference 데이터셋으로 학습한 Thinking Reward Model(TRM)은 테스트 시 고품질 추론을 선택하거나 RL 훈련에 보상으로 활용해 최대 19.3%·3.9%의 성능 향상을 달성한다.

상세 분석

이 연구는 대규모 추론 모델(LRM)의 내부 추론 과정이 점점 복잡해지는 현상을 정확히 진단하고, 그 품질을 정량화할 수 있는 체계적 프레임워크를 제공한다. 핵심은 ME² 원칙으로, ‘Macro‑Efficiency’, ‘Macro‑Effectiveness’, ‘Micro‑Efficiency’, ‘Micro‑Effectiveness’ 네 가지 차원을 동시에 고려한다. 매크로 차원에서는 전체 구조의 불필요한 분기·재검토를 최소화하고, 목표와의 일관성을 유지하는지를 평가한다. 마이크로 차원에서는 개별 단계의 간결성·중복성, 그리고 논리적 정확성·내부 일관성을 점검한다. 이러한 다중 축 접근은 기존 연구가 주로 단계별 정답 여부나 길이·간결성에만 초점을 맞춘 것과 차별화된다.

구조화 단계에서는 자유형 텍스트 추론을 DAG로 변환한다. 먼저 두 개의 개행을 기준으로 초기 블록을 만든 뒤, 고빈도 접두어 패턴을 이용해 세밀한 단계 경계를 재조정한다. 이후 각 단계를 노드로 두고, 이전 단계 중 의미적 연속성을 보이는 후보 집합을 LLM에게 제시해 부모 노드를 선택하게 함으로써 간결하면서도 의미 있는 에지 집합을 만든다. 이때 전체 이전 단계가 아닌 현재 메인 브랜치와 대표적인 분기 끝점만을 포함해 연산 비용을 제한한다. 마지막으로 연속적인 선형 체인을 슈퍼노드로 압축해 그래프를 간결화한다. 이러한 DAG 구축 알고리즘은 복잡한 분기·병합 구조를 자연스럽게 포착하면서도 구현 복잡도를 크게 낮춘다.

평가 단계에서는 두 추론 DAG를 각각 매크로와 마이크로 추상화로 변환한다. 매크로 추상화는 각 슈퍼노드의 의도와 역할을 LLM이 요약한 텍스트 시퀀스로 구성해 전반적인 구조를 한눈에 파악하게 한다. 마이크로 추상화는 최종 결론에 가장 직접적으로 기여하는 ‘주 경로’를 추출해 원문 단계들을 그대로 사용한다. 이렇게 만든 두 추상화는 Bradley‑Terry 기반의 쌍대 비교 모델에 입력되어 어느 추론이 더 높은 ME² 점수를 갖는지 확률적으로 판단한다.

TRM‑Preference 데이터셋은 인간 라벨러가 검증한 ‘정답이 동일한 상황에서 더 우수한 추론’ 쌍을 200k 이상 수집해 구성했으며, 라벨링 과정에서 정답 자체와는 독립적으로 순수 추론 품질만을 평가하도록 설계했다. 학습된 Thinking Reward Model(TRM)은 경량 Transformer 기반으로, 입력으로 DAG의 매크로·마이크로 텍스트를 받아 점수를 출력한다. 실험 결과, 테스트 시 TRM 점수가 높은 추론을 선택하면 기존 베이스라인 대비 평균 12.7%(최대 19.3%)의 정확도 향상이 관찰되었으며, RL 훈련에 TRM 보상을 통합한 경우 다양한 벤치마크(수학, 코딩, 추론)에서 평균 2.4%·최대 3.9%의 성능 개선을 기록했다. 이는 추론 과정 자체를 최적화 목표로 삼는 것이 최종 결과 향상에 직접적인 기여를 할 수 있음을 실증한다.

전반적으로 이 논문은 (1) 추론 품질을 다차원적으로 정의하는 이론적 틀, (2) 자유형 텍스트를 구조화된 DAG로 변환하는 실용적 파이프라인, (3) 구조·내용을 동시에 고려한 쌍대 평가 방식, (4) 이를 기반으로 한 보상 모델을 통한 테스트‑시간 선택 및 훈련‑시간 최적화라는 네 가지 핵심 기여를 제공한다. 특히 ME² 원칙과 DAG 기반 평가가 결합돼 복잡한 비선형 추론을 정량화하고, 대규모 LRM의 효율·효과성을 동시에 끌어올릴 수 있는 새로운 연구 패러다임을 제시한다.