코드 생성에서 사유 흐름(Chain‑of‑Thought) 효과 분석: 경험·정보이론 통합 연구

초록

본 논문은 파이썬 및 12개 다국어 프로그래밍 언어에 대해 6가지 LLM(7B‑480B)과 5가지 CoT(Zero‑Shot, Zero‑Shot CoT, Self‑Planning, Structured CoT, Reasoning‑CoT) 방식을 체계적으로 실험하고, 조건부 상호정보 $I(Y;C|X)$를 정량적 지표로 도입해 CoT가 코드 정확도에 미치는 메커니즘을 규명한다. 결과는 구조화된 CoT가 토큰 비용은 적게 들면서도 Pass@1을 평균 5‑12% 향상시키고, 모델 규모와 언어 타입(정적·동적)마다 효과 차이가 있음을 보여준다. 특히 고품질 추론 체인이 성능을 좌우한다는 점을 강조한다.

상세 분석

이 연구는 CoT 프롬프트가 단순히 “step‑by‑step” 사고를 유도하는 수준을 넘어, 정보이론적 관점에서 $I(Y;C|X)$ — 즉 입력 X 와 최종 코드 Y 사이의 불확실성을 추론 체인 C 가 얼마나 감소시키는가—를 측정함으로써 CoT의 실질적 효용을 정량화한다. 실험 설계는 (1) 성능‑효율 트레이드오프(RQ1) — Structured CoT가 Reasoning‑CoT 대비 토큰 사용량을 약 90% 절감하면서도 85‑95% 수준의 정확도를 유지, Zero‑Shot CoT는 경우에 따라 성능 저하를 초래—, (2) 다언어 일반화(RQ2) — 정적 타입 언어(Java, C++)에서는 Structured CoT가 평균 +7% 향상, 동적 타입 언어(Python, JavaScript)에서는 Reasoning‑CoT가 +6% 정도 균형 잡힌 개선을 제공—, (3) 모델 규모 의존성(RQ3) — 480B 모델은 30B·7B 모델 대비 ≈ 67% 의 비대칭 성공률을 보이며, 소형 모델은 복잡한 타입/경계 처리와 추론‑코드 정렬에서 일관성 결여를 보인다, (4) 추론 품질(RQ4) — 동일 템플릿이라도 GPT‑5‑Mini가 생성한 고품질 Structured CoT가 7B 모델 기반 경량 버전보다 Pass@1을 7.5% 높게 달성, 저품질 CoT는 Zero‑Shot 기준 이하로 떨어진다. 정보용량 제한 $I(Y;C|X) ≤ L·log₂V$ 을 토대로, Structured CoT는 L ≈ 200‑700 토큰으로 핵심 정보를 고밀도로 전달해 효율성을 극대화하고, 반면 Reasoning‑CoT는 L ≈ 2000‑7000 토큰으로 표현력을 확보하지만 노이즈와 연산 비용이 급증한다는 점을 실증한다. 이러한 결과는 CoT 적용 시 모델 규모, 목표 언어의 타입 시스템, 그리고 요구되는 추론 깊이에 따라 전략을 선택해야 함을 명확히 제시한다.