잠재적 사고 흐름의 탐색과 실행 트레이드오프와 결정적 확신

초록

본 논문은 잠재적 체인‑오브‑쓰리(잠재 CoT) 모델이 탐색에는 뛰어나지만 정밀 연산에서는 크게 실패하는 현상을 ‘결정적 확신(decisional certainty)’이라는 개념으로 설명한다. 저자들은 탐색‑실행 트레이드오프를 이론적으로 규명하고, 이를 정량화하는 ‘심볼릭 인덱스(Symbolic Index)’를 제안한다. 또한 커리큘럼 학습이 없으면 분포 불일치로 인해 학습이 불가능함을 증명한다.

상세 분석

논문은 먼저 명시적 체인‑오브‑쓰리(CoT)와 잠재 CoT(예: Coconut) 사이의 근본적인 차이를 정보병목(Information Bottleneck) 관점에서 해석한다. CoT는 토큰 수준에서 명시적인 선택을 반복함으로써 고확신(high‑certainty) 상태를 유지한다. 이는 디리클레(Dirichlet) 분포의 농도 파라미터 κ가 크게 설정된 것과 동등하게 모델의 출력 분포가 매우 피크(pik)하게 되며, 이때 엔트로피는 거의 0에 수렴한다. 저자는 정리 4.3을 통해 κ→∞ 일 때 탐색을 위한 균등 사전과의 KL 발산이 무한대로 커짐을 보이며, 이는 CoT가 탐색 단계에서 과도하게 일찍 경로를 고정해버리는 메커니즘을 수학적으로 설명한다. 반면 잠재 CoT는 연속적인 잠재 벡터 hₖ를 통해 다중 경로를 동시에 유지한다. Coconut 커리큘럼은 각 단계 k에서 과거 체인‑오브‑쓰리 S(1…k)를 압축해 hₖ에 매핑하고, 이를 이용해 미래 서열 S(k+1…M)을 예측하도록 학습한다. 이 과정은 조건부 정보병목(CIB) 최적화와 동등함을 정리 4.1에서 증명한다. CIB는 압축된 표현이 미래 정보를 충분히 보존하도록 하는 제약을 두어, 모델이 과도한 확신을 억제하고 탐색 분포가 균등에 가깝게 유지되도록 만든다. 정리 4.5는 잠재 CoT의 탐색 능력이 KL 발산 상한 ‑½log δ − c 로 제한됨을 보여, 탐색이 소멸하지 않음을 보장한다.

하지만 연속 표현은 작은 내부 오류(서브‑디시전널 퍼터베이션)에도 취약하다. 정의 4.6에 따르면, 로그잇 벡터에 미세한 잡음 ϵₖ가 가해져도 argmax는 변하지 않지만, 이러한 미세 잡음이 여러 단계에 걸쳐 누적되면 최종 상태 hₖ가 크게 왜곡될 수 있다. 저자는 이를 정리 4.7(가정)과 정리 4.8(노이즈 누적)로 정량화하여, GSM8K와 같은 정밀 연산 작업에서 잠재 CoT의 성능이 급격히 저하되는 원인을 설명한다.

마지막으로 학습 안정성 측면에서, 저자는 커리큘럼 없이 직접적으로 전체 잠재 체인을 학습하려 하면 모델이 실제 추론 시 생성하는 잠재 분포와 훈련 데이터의 분포가 크게 달라지는 ‘분포 불일치(distributional mismatch)’가 발생한다는 정리 5.1을 제시한다. 이 불일치는 최적화 목표가 비정상적인 지역 최소점에 빠지게 만들며, 실험적으로도 커리큘럼을 제거하면 ProsQA 정확도가 97%에서 14% 수준으로 급락한다는 결과와 일치한다. 정리 5.2는 커리큘럼이 단계별 압축 비율 β(k)를 적절히 조정해 정보 손실을 최소화하고, 최종 모델이 안정적으로 수렴하도록 보장한다는 이론적 근거를 제공한다.

요약하면, 논문은 ‘결정적 확신’이라는 통합 개념을 도입해 탐색과 실행 사이의 트레이드오프를 정량화하고, 심볼릭 인덱스를 통해 모델이 동적으로 확신 수준을 조절하도록 설계할 수 있음을 제시한다. 또한 커리큘럼 학습이 잠재 CoT의 성공적인 훈련에 필수적이라는 이론적·실험적 증거를 제공한다.