추론 홉 일반화의 약점 드러내기: 오류 헤드 탐지와 테스트 시점 교정

초록

본 논문은 체인‑오브‑쓰(thought, CoT) 기반 대형 언어 모델이 추론 홉 수가 훈련보다 늘어날 때 급격히 성능이 떨어지는 현상을 분석한다. 오류가 특정 토큰 위치와 몇 가지 핵심 오류 유형에 집중됨을 발견하고, 이 오류를 유발하는 ‘오류 처리 헤드(ep head)’를 규명한다. 테스트 시점에 ep head를 동적으로 비활성화하는 경량 교정 방법(TCR)을 제안해 다양한 과제와 모델에서 홉 일반화 성능을 일관되게 향상시킨다.

상세 분석

본 연구는 먼저 “추론 홉 일반화”라는 새로운 실패 모드를 정의한다. 이는 모델이 동일한 연산(예: 다자리 곱셈)을 수행하더라도 요구되는 추론 단계가 훈련 시보다 많아지면 정확도가 급락하는 현상이다. 기존 연구들은 단일 홉 오류 누적을 지적했지만, 저자들은 오류가 전체 토큰 흐름에 고르게 퍼지는 것이 아니라, 몇몇 핵심 토큰 위치에 집중된다는 점을 실험적으로 입증한다. 이를 위해 7개의 서로 다른 도메인(기호 논리, 수학 계산, 코딩, 객체 카운팅)에서 4개의 최신 오픈소스 LLM(Qwen2.5‑7B‑Instruct, Phi‑3‑Instruct, LLaMA3‑8B‑Instruct, Qwen3‑8B‑Instruct)을 사용해 다양한 홉 수(10~50)로 실험하였다.

오류 토큰을 정밀히 분석한 결과, ‘키 오류 유형(key error type)’이라 명명된 5~10개의 패턴이 전체 오류의 30% 이상을 차지한다는 사실이 드러났다. 예를 들어 Parity‑NL 과제에서는 78.6%의 오류가 잘못된 이름을 기억하는 유형에 기인한다. 이러한 집중 현상은 오류 원인을 좁히는 데 결정적이다.

다음 단계에서는 내부 메커니즘을 파악하기 위해 Logit Lens, 헤드 노크아웃, 잔차 스트림 기반 회로 분석을 결합했다. 분석 결과, 두 종류의 어텐션 헤드가 경쟁 구조를 형성한다는 것이 밝혀졌다. ‘정확한 처리 헤드(cp head)’는 올바른 추론 흐름을 강화하고, ‘오류 처리 헤드(ep head)’는 잘못된 흐름을 증폭시키며 올바른 신호를 억제한다. 특히 ep head는 여러 과제와 오류 유형에 걸쳐 공통적으로 나타났으며, 해당 헤드를 단일 토큰 예측 단계에서 비활성화하면 오류가 크게 감소한다.

이러한 메커니즘 이해를 바탕으로 저자들은 “테스트‑시간 추론 교정(Test‑time Correction of Reasoning, TCR)”이라는 경량 인터벤션을 설계했다. TCR은 (1) 모델별 공통 ep head 후보 집합을 사전 구축하고, (2) 입력 컨텍스트를 기반으로 어느 헤드를 차단할지 자동으로 선택하는 헤드 선택기 네트워크를 학습한다. 또한, 토큰 엔트로피 기반 임계값 검출기를 도입해 오류가 의심되는 순간에만 개입한다.

실험 결과, TCR은 Qwen2.5‑7B‑Instruct 기준 평균 정확도를 6.8%p 상승시켰으며, ‘TCR‑gold’(오라클 검출기 사용)에서는 20%p에 달하는 향상을 보였다(41.7% → 61.3%). 이러한 개선 효과는 모든 테스트 과제와 모델에 일관되게 나타났으며, ep head가 실제로 추론 흐름을 좌우한다는 가설을 강력히 뒷받침한다.

결론적으로, 본 논문은 추론 홉 일반화 실패가 무작위적인 오류가 아니라, 특정 토큰 위치와 제한된 수의 오류 유형에 의해 주도되며, 내부 어텐션 헤드 간 경쟁 메커니즘이 핵심 원인임을 입증한다. 또한, 테스트 시점에 ep head를 동적으로 차단하는 간단하면서도 효과적인 방법을 제시함으로써, 사전 재학습 없이도 기존 LLM의 추론 일반화를 크게 향상시킬 수 있음을 보여준다.