연쇄 사고의 숨은 계획 범위: LLM의 단기 계획 탐구

초록

본 논문은 대형 언어 모델(LLM)이 체인‑오브‑쓰리(Chain‑of‑Thought, CoT) 과정에서 전역적인 계획을 세우지 않고, 주로 근접한 단계만을 예측하는 ‘단기(마이오픽) 계획’ 특성을 가지고 있음을 밝혀낸다. 이를 검증하기 위해 제안된 probing 기법 Tele‑Lens를 다양한 과제에 적용하고, CoT의 불확실성 추정 및 필요성 판단에 활용한다.

상세 분석

이 연구는 두 가지 상반된 선행 가설을 통합한다. 첫째, LLM은 CoT가 시작되기 전 이미 전체 추론 경로를 내재하고 있어 명시적 CoT가 불필요할 수 있다는 주장; 둘째, Transformer 구조의 표현 한계로 인해 CoT가 없으면 복잡한 다단계 추론이 불가능하다는 이론적 입장이다. 저자들은 이러한 모순을 해소하기 위해 ‘잠재 계획 수평선(latent planning horizon)’이라는 개념을 도입하고, 이를 정량화하기 위한 probing 방법인 Tele‑Lens를 설계했다. Tele‑Lens는 각 레이어의 은닉 상태를 저차원 어댑터를 통해 변환한 뒤, 전체 어휘에 대한 로짓을 예측하도록 학습한다. 이를 통해 (1) 다음 토큰 예측, (2) 전체 추론 길이 예측, (3) 최종 정답 예측이라는 세 가지 텔레올로지적 차원을 동시에 측정한다.

실험은 12개의 서로 다른 도메인(명시적 조합 과제, 암시적 수학·논리 과제, 지식·시맨틱 과제)에서 수행되었으며, 두 종류의 모델(Qwen‑3‑32B 오프‑더‑쉘프와 자체 학습한 In‑Domain LLM)으로 검증하였다. 결과는 크게 두 가지 인사이트를 제공한다. 첫째, 대부분의 과제에서 초기 은닉 상태는 최종 정답을 정확히 예측하지 못하고, 오히려 1~2 단계 앞까지만 의미 있는 정보를 담는다. 이는 ‘단기 계획’이 존재함을 의미한다. 단순히 패턴 매칭이 가능한 쉬운 과제에서는 초기 단계가 정답의 대략적인 의미를 포착하지만, 복잡한 조합 과제에서는 예측 정확도가 거의 평평해진다. 둘째, 이러한 단기 계획 특성을 활용해 CoT의 불확실성을 효율적으로 추정할 수 있다. 저자들은 ‘우든 배럴(Wooden Barrel)’ 가설을 제시해, 전체 CoT 길이보다 몇몇 피벗 토큰만을 대상으로 불확실성을 측정하면 더 정확한 신뢰도 지표를 얻는다고 주장한다. 실제로 Top‑k 피벗 선택만으로도 퍼플렉시티·엔트로피 기반 불확실성 측정에서 최대 6% 절대 향상이 관찰되었다.

또한, CoT가 실제로 필요 없는 경우를 자동으로 감지하는 ‘CoT bypass’ 기법을 제안한다. 이는 피벗 토큰들의 불확실성 점수가 낮을 때 바로 정답을 출력하도록 설계되었으며, Qwen‑3‑32B 기준으로 평균 정확도 손실 0.03%에 16.2%의 CoT 생략률을 달성했다. 이러한 결과는 LLM 내부 상태가 ‘전역적인 사고 계획’보다는 ‘즉시적 전이’를 중심으로 작동한다는 결론을 뒷받침한다.

전반적으로 이 논문은 LLM의 내부 표현과 외부 언어화된 추론 사이의 간극을 정량적으로 드러내며, 단기 계획이라는 새로운 관점을 통해 CoT 활용 효율성을 높이는 실용적 방법론을 제시한다. 향후 연구는 더 다양한 모델 아키텍처와 대규모 데이터에서 계획 수평선을 확장하고, 피벗 토큰 선택을 자동화하는 메타‑학습 기법을 탐구할 여지를 남긴다.