추론 트레이스의 궤적을 탐색하는 새로운 프로토콜

초록

본 논문은 LLM이 생성한 추론 트레이스를 일정 비율로 잘라 모델에 재주입함으로써, 추론 진행 과정에서 정확도와 확신도, 정보 기여도를 정량적으로 측정하는 프로토콜을 제안한다. Qwen3·gpt‑oss 시리즈를 GPQA Diamond와 MMLU‑Pro 벤치마크에 적용한 결과, 토큰 비율이 늘어날수록 정확도와 결정 확신이 상승하지만, 이는 단순한 길이 효과가 아니라 실제 내용의 의미적 기여에 기인함을 확인하였다. 또한 강력한 모델이 약한 모델의 잘못된 부분 추론을 ‘구조적으로 회복’하거나 오히려 고정시키는 현상을 분석하여, 추론 트레이스 활용 시 안전하고 효율적인 정책 설계의 필요성을 강조한다.

상세 분석

이 연구는 “추론 트레이스 궤적 프로빙”이라는 실험 프레임워크를 구축한다. 핵심 단계는 (1) 모델에게 질문과 함께 사고 모드를 활성화해 전체 추론 텍스트를 생성하도록 하고, (2) 전체 텍스트를 토큰 수 기준 10 % 단위(데시일)로 절단한다. 절단된 부분을 원본 질문과 시스템 프롬프트 사이에 삽입하고, 종료 토큰(예: )을 강제해 바로 다음 토큰의 확률 분포를 조회한다. 이렇게 얻은 p(y|x, prefix) 를 통해 각 데시일에서의 정답 확률, 최고 확률 선택(ˆy), 비정답 토큰 질량 등을 계산한다.

정확도와 결정 확신(정답 토큰에 할당된 확률)의 전반적 상승은 모든 모델·벤치마크에서 일관되게 관찰되었다. 특히 gpt‑oss‑120b와 같은 대형 모델은 60 %~100 % 구간에서 급격히 향상되는 반면, Qwen3‑8B는 90 %→100 % 구간에서 정확도가 급락하는 특이 현상을 보였다. 이는 해당 모델이 “\boxed{}” 형식 태그를 과도하게 사용해 ‘A’ 선택을 편향시키는 버그와 연관된다.

내용 기여도를 분리하기 위해 세 가지 대조 실험을 수행했다. (①) 랜덤 토큰 시퀀스 삽입 – 길이와 위치만 동일하게 유지했을 때 정확도 변화가 거의 없으며, 순수 길이 효과는 미미함을 확인. (②) 다른 질문의 추론을 동일 길이로 삽입(스왑) – 구조는 유지되지만 내용이 맞지 않아 정확도가 정체되거나 감소, 즉 내용 불일치가 오히려 방해가 됨을 입증. (③) 토큰 순서를 무작위로 섞은 셔플 – 토큰 자체의 존재는 약간의 이득을 주지만, 순차적 의미가 사라지면 이득이 크게 감소한다는 점을 보여준다. 따라서 “인스턴스‑특이 의미 신호”가 정확도 향상의 주된 원인임을 강력히 뒷받침한다.

교차 모델 실험에서는 약한 모델이 잘못된 부분 추론을 강한 모델에 주입했을 때 두 가지 상황을 비교했다. ‘Answer now’ 모드에서는 강한 모델이 즉시 답을 제시하도록 강제했으며, ‘Free continuation’ 모드에서는 강한 모델이 자체적으로 추론을 이어가게 했다. 결과는 강한 모델이 ‘Free continuation’에서는 일정 비율(≈30‑45 %)로 잘못된 추론을 되돌릴 수 있었지만, ‘Answer now’에서는 오히려 초기 오류에 고정(anchoring)되는 경우가 많았다. 이는 추론 트레이스를 재활용할 때 “얼마나 더 진행시킬 것인가”가 모델 신뢰성에 결정적 영향을 미친다는 실용적 교훈을 제공한다.

전반적으로 이 논문은 (1) 추론 토큰이 단순히 “길이”가 아니라 “내용”에 의해 성능을 좌우한다는 점, (2) 모델 규모가 클수록 추론 깊이에 따른 정확도 향상이 뚜렷하지만 과도한 토큰은 오히려 오버싱킹을 유발할 수 있다는 점, (3) 추론 트레이스 재사용 시 강한 모델이 약한 모델의 오류에 ‘고정’되지 않도록 설계(예: 자유 연속 모드, 조기 중단 기준)해야 함을 실증한다. 이러한 통찰은 LLM 기반 체인‑오브‑생각 파이프라인을 효율적이고 안전하게 운영하기 위한 모니터링·제어 정책 수립에 직접적인 가이드라인을 제공한다.