CoT 훈련이 이끄는 구성적 일반화: 이론·구조 분석

초록

본 논문은 체인‑오브‑생각(Chain‑of‑Thought, CoT) 훈련이 모델에게 단순 스킬을 조합해 새로운 문제를 해결하도록 하는 “구성적 일반화” 메커니즘을 밝혀낸다. 정보‑이론적 일반화 경계와 KL 발산을 이용해 ID와 OOD 오류를 분리하고, CoT가 OOD 상황에서 중간 추론 단계(C)를 학습함으로써 오류를 크게 감소시킴을 이론적으로 증명한다. 또한, 내부 회로 분석을 통해 CoT 모델이 얕은 층에서 중간 결과를 도출하고, 깊은 층을 다음 단계에 전념하도록 하는 두 단계 구성 회로를 형성함을 실험적으로 확인한다.

상세 분석

이 논문은 크게 두 축으로 기여한다. 첫 번째는 정보‑이론적 일반화 경계를 이용한 정량적 분석이다. 저자는 훈련·테스트 데이터의 조건부 분포 (P(Y|X)) 를 중간 추론 시퀀스 (C=(C_1,\dots,C_K)) 로 분해하고, KL 발산을 통해 기대 일반화 오차 (\mathcal{E}_{\text{gen}}) 를
\