깨진조합성

초록

이 논문은 작은 트랜스포머를 합성 산술 과제에 학습시켜, 모델이 인간과 다른 순서와 방식으로 하위 스킬을 습득한다는 사실을 밝혀낸다. 모델은 높은 자리수부터 낮은 자리수 순으로 덧셈·곱셈을 배우며, 때로는 여러 스킬을 동시에 습득해 경쟁을 일으킨다. 이러한 “깨진 조합성”은 분포 변동 시 오류가 급증하는 원인이며, 데이터의 상관통계에 의해 주도된다는 증거를 제시한다. 규모 확대나 스크래치패드 사용으로도 완화되지 않으며, 현대 LLM에서도 동일 현상이 관찰된다.

상세 분석

본 연구는 합성 산술 문제를 인위적으로 설계해 트랜스포머의 학습 과정을 미세하게 추적한다. 4‑operand addition, 단일 자리수 곱셈, 비교, 정렬 네 가지 과제를 각각 10 M 파라미터 규모의 NanoGPT 모델에 200 K step까지 학습시켰으며, 각 단계에서 자리별 오류율, 출력 형식(정방향·역방향), 데이터 샘플링 방식(균등·균형) 등을 측정했다. 가장 눈에 띄는 결과는 인간이 자연스럽게 “단위 자리 → 십의 자리 → … → 최고 자리” 순으로 습득하는 반면, 모델은 “최고 자리 → … → 단위 자리” 순으로 디지털 서브스킬을 마스터한다는 점이다. 이는 출력 형식을 역전시켜도 변하지 않았으며, 모델이 자체적으로 가장 정보량이 큰 상위 자리수를 먼저 학습한다는 가설을 뒷받침한다.

또한, 여러 서브스킬이 동시에 학습되는 경우(예: 자리별 캐리와 자리별 덧셈) 서로 경쟁하는 현상이 관찰되었다. 경쟁이 심해지면 모델은 일부 자리에서는 정확히 예측하지만 다른 자리에서는 이전에 학습한 규칙을 잘못 적용해 ‘mixing error’를 만든다. 특히 학습 데이터와 약간 다른 포맷(예: 공백 삽입, 순서 뒤바꿈)이나 훈련에 포함되지 않은 자리수(예: 5자리 이상)로 테스트하면 오류가 급격히 증가한다. 이러한 현상을 ‘shattered compositionality’라 명명하고, 이는 모델이 “인과적·절차적” 규칙을 발견하기보다 훈련 데이터의 통계적 상관관계에 맞춰 빠르게 적합하기 때문이라고 설명한다.

통계적 분석에서는 정보이론적 측정치(상호정보량, 엔트로피 감소)가 초기 학습 단계에서 높은 자리수와 연관된 패턴을 가장 먼저 포착한다는 것을 확인했다. 일단 이 신호가 포화되면 모델은 남은 낮은 자리수에 대한 학습을 진행한다. 따라서 학습 순서는 데이터 자체가 제공하는 상관구조에 의해 결정된다.

스케일링 실험에서는 파라미터 수를 10 M에서 100 M까지 늘려도 학습 순서와 혼합 오류 패턴이 크게 변하지 않았다. 또한, 최근 LLM에서 채택된 ‘scratchpad’ 방식(중간 단계 기록)도 동일한 비인간적 순서를 보였으며, 오히려 중간 단계가 추가되면서 경쟁이 더 복잡해져 오류가 심화되는 경우도 있었다.

결론적으로, 트랜스포머는 인간이 기대하는 절차적 조합이 아니라 데이터의 통계적 패턴에 기반한 비선형적, 병렬적 학습 경로를 택한다. 이는 모델의 추론 신뢰성, OOD(Out‑Of‑Distribution) 견고성, 그리고 alignment 연구에 중요한 함의를 제공한다. 향후 연구는 curriculum design, 데이터 재구성, 혹은 명시적 인과 학습 목표를 도입해 shattered compositionality를 완화하는 방법을 모색해야 한다.