아하 순간은 허구일까 — 체인오브생각 속 진짜 사고와 장식적 사고 단계 구분

초록

본 논문은 대형 언어모델(LLM)의 체인오브생각(CoT)에서 각 단계가 실제 내부 추론에 기여하는지를 정량화하는 True Thinking Score(TTS)를 제안한다. 실험을 통해 대부분의 CoT 단계가 ‘장식적 사고’에 불과하고, 실제 예측을 좌우하는 ‘진짜 사고’ 단계는 전체의 2 % 미만에 불과함을 밝혀냈다. 또한, 잠재공간의 TrueThinking 방향을 이용해 특정 단계의 내부 활용을 강화·억제할 수 있음을 보였다.

상세 분석

이 연구는 LLM이 생성하는 긴 CoT가 모델 내부의 실제 사고 과정을 그대로 반영하는가에 대한 근본적인 의문을 제기한다. 이를 검증하기 위해 저자들은 각 단계 s 와 그 이전 단계들의 집합 C 를 정의하고, 두 가지 인과적 개입을 수행한다. 첫 번째는 ‘필요성 테스트’ ATE_nec(1) 으로, C를 고정한 상태에서 s를 교란(s′)했을 때 최종 정답 y* 의 확률 변화 P(y*|C,s) − P(y*|C,s′) 를 측정한다. 두 번째는 ‘충분성 테스트’ ATE_suf(0) 으로, C를 교란한 C′ 상태에서 s와 s′의 차이를 비교한다. 두 값의 절대값을 평균한 것이 True Thinking Score(TTS)이며, 0 ~ 1 사이의 값으로 단계가 ‘AND’(모든 단계가 공동으로 필요) 혹은 ‘OR’(어느 하나만으로 충분) 모드에서 기여하는 정도를 동시에 포착한다.

실험에서는 Qwen‑2.5, GPT‑4, Llama‑2 등 최신 모델들을 AIME, GSM‑8K, 수학 문제 등 다양한 베enchmark에 적용했다. 결과는 놀라웠다. 평균적으로 TTS ≥ 0.7을 기록한 단계는 전체 CoT 단계의 2.3 %에 불과했으며, 나머지는 TTS가 거의 0에 가까워 ‘장식적 사고’로 분류됐다. 특히 ‘아하 순간’이라 불리는 자기 검증 구문(“Wait, let’s re‑evaluate…”)도 대부분 장식적이며, 해당 단계 이전의 수치를 무작위로 변형해도 최종 답이 변하지 않는 경우가 다수 관찰되었다.

핵심적인 메커니즘 탐색에서는 ‘TrueThinking 방향’이라는 잠재공간 벡터를 발견했다. 특정 단계의 은닉 상태에 이 방향을 양의 스칼라만큼 이동시키면 해당 단계가 내부 추론에 더 크게 활용되고, 반대로 역방향으로 이동시키면 모델이 그 단계를 무시한다는 사실을 실증했다. 이를 이용해 장식적 자기 검증 단계조차도 내부적으로 활용하도록 강제할 수 있었으며, 이는 모델의 추론 투명성을 높이는 새로운 조절 수단으로 제시된다.

이 논문은 CoT를 단순히 ‘스크래치패드’로 보는 기존 관점을 뒤흔들며, 단계별 인과 분석을 통해 LLM의 실제 사고 흐름을 정밀하게 드러냈다. 또한, TTS와 TrueThinking 방향이라는 두 가지 도구를 통해 모델의 내부 추론을 정량·정성적으로 평가하고 조절할 수 있는 실용적인 프레임워크를 제공한다. 이러한 접근은 LLM 안전성 검증, 추론 효율성 향상, 그리고 향후 ‘사고‑정당화’ 메커니즘 설계에 중요한 기반이 될 것으로 기대된다.