추론 체인으로 차원 축소, 일반화 향상

초록

본 논문은 체인‑오브‑생각(CoT) 전략이 모델의 **내재 차원(intrinsic dimensionality)**을 낮춰 학습 효율을 높이고, 인‑도메인·아웃‑도메인 모두에서 일반화 성능을 향상시킨다는 정량적 근거를 제시한다. 고정된 Gemma‑3 1B·4B 모델에 다양한 CoT 변형을 적용해 LoRA 기반 저차원 파라미터 공간을 탐색하고, 목표 정확도에 도달하는 최소 파라미터 수를 내재 차원으로 정의한다. 실험 결과, 내재 차원이 낮은 전략일수록 정확도가 크게 상승하며, 토큰 길이·퍼플렉시티 등 기존 메트릭보다 강력한 예측력을 보인다.

상세 분석

논문은 먼저 내재 차원이라는 개념을 도입한다. 파라미터 벡터 θ∈ℝᴰ를 사전학습된 θ₀와 저차원 매개변수 θ_d∈ℝᵈ( d≤D )의 선형 결합 θ=θ₀+P(θ_d) 로 표현하고, 특정 성능 임계값 τ를 만족하는 최소 d를 해당 작업의 내재 차원 d_int 로 정의한다. 기존 연구는 모델을 바꾸며 d_int를 측정했지만, 이 논문은 모델을 고정하고 데이터(즉, CoT 방식)를 변화시켜 d_int가 추론 전략에 따라 어떻게 달라지는지를 탐구한다.

이를 구현하기 위해 저차원 투영 수단으로 LoRA(Low‑Rank Adaptation) 를 채택한다. LoRA는 선택된 가중치 행렬 W₀에 저‑랭크 행렬 A∈ℝʳˣⁿ, B∈ℝᵐˣʳ 를 추가해 W=W₀+BA 로 업데이트한다. 여기서 r은 랭크, L_LoRA는 적용 대상 레이어 수이며, 전체 학습 파라미터 수는 params(r, L_LoRA)=2·L_LoRA·d_model·r 로 계산된다. 논문은 r과 L_LoRA를 로그 스케일로 균등하게 변형한 여러 설정을 sweep 하여, 각 설정에서 학습 정확도를 기록하고 τ (최대 성능의 90% 혹은 첫 에포크 최고 정확도) 를 초과하는 최소 params 값을 d_int 로 추정한다.

실험은 GSM8K 데이터셋을 기반으로, No‑CoT, Very Short CoT, Short CoT, Gemini CoT, Distractor‑augmented CoT, Executed PoT, Simulated PoT, Plan‑and‑Solve, Critical CoT, High‑Review‑Ratio CoT 등 12가지 전략을 구성한다. 각 전략별로 동일한 문제에 대해 해당 스타일의 CoT를 생성하고, 이를 학습 데이터로 사용해 Gemma‑3 1B·4B 모델을 LoRA‑fine‑tune한다. 평가 지표는 (i) 인‑도메인 GSM8K 테스트 정확도, (ii) GSM‑Symbolic, GSM‑IC, GSM‑Hard 등 5개의 스트레스 테스트를 포함한 아웃‑도메인 성능이며, 전체 성능은 이들 지표의 기하 평균으로 산출한다.

핵심 결과는 내재 차원과 일반화 성능 사이의 강한 역상관이다. 예를 들어, Short CoT는 No‑CoT에 비해 d_int 가 약 30% 감소하고, ID·OOD 정확도는 각각 12%·15% 상승한다. 반면, Distractor‑augmented CoT는 토큰 길이는 늘어나지만 d_int 이 크게 증가해 성능이 오히려 저하된다. 이는 추론 체인이 논리적 간격을 효과적으로 메우면 학습 목표가 더 압축 가능해져 파라미터 요구량이 감소한다는 가설을 실증한다.

또한, 토큰 길이, 평균 퍼플렉시티, 토큰당 로그우도 등 기존 메트릭과 비교했을 때, 내재 차원은 예측력(R²)에서 2~3배 우수함을 보인다. 특히, 길이가 짧은 CoT라도 논리 구조가 명확하면 d_int 이 낮아져 높은 일반화 성능을 달성한다는 점은 “길이 ≠ 효과성”이라는 기존 논쟁에 새로운 정량적 근거를 제공한다.

논문은 마지막으로 실용적 함의를 제시한다. (1) 데이터 수집 단계에서 내재 차원이 낮은 CoT 스타일을 우선 선택하면 라벨링 비용을 절감하면서도 모델 성능을 극대화할 수 있다. (2) 모델 정규화나 프롬프트 설계 시 d_int 을 최소화하는 방향으로 손실 함수를 설계하면, 과적합 위험을 감소시킬 수 있다. (3) LoRA‑based d_int  측정은 대규모 모델에 대해 비교적 저비용으로 수행 가능하므로, 새로운 추론 전략을 빠르게 평가하는 베이스라인으로 활용될 수 있다.

전반적으로, 이 연구는 “효과적인 추론 체인은 작업을 저차원으로 압축한다”는 정보를 제공함으로써, CoT 연구에 정량적 기준을 도입하고, 향후 추론 전략 설계와 데이터 주석 정책에 중요한 지침을 제시한다.