복사 없이 인컨텍스트 학습 인덕션 헤드 역할 재평가

초록

본 논문은 반복 복사를 담당하는 인덕션 헤드가 추상적인 인컨텍스트 학습(ICL) 능력에 필수적인지 검증한다. 저자들은 반복 n‑gram이 등장하는 위치의 손실을 마스킹하는 “Hapax” 학습 방식을 도입해 인덕션 복사의 학습 신호를 차단한다. 결과적으로 인덕션 헤드가 현저히 감소했음에도 불구하고, 추상적인 ICL 과제(예: 국가‑수도 매핑, 다국어 번역)에서 기존 모델보다 높은 정확도를 기록한다. 이는 인덕션 헤드와 추상 ICL 사이의 인과적 연관성이 이전보다 약함을 시사한다.

상세 분석

이 연구는 인덕션 헤드가 언어 모델의 급격한 손실 감소와 ICL 능력 향상의 원인이라는 기존 가설에 근본적인 의문을 제기한다. 먼저, 인덕션 헤드는 이전 컨텍스트에서 동일한 n‑gram을 찾아 그 뒤를 그대로 복제하는 메커니즘으로 정의된다. 이러한 복사는 ‘복사형’ 과제에서는 뛰어난 성능을 보이지만, 답이 입력에 존재하지 않는 ‘추상형’ 과제에서는 반드시 필요하지 않을 가능성이 있다. 저자들은 이를 검증하기 위해 “Hapax”라는 손실 마스킹 기법을 설계했다. 구체적으로, 동일한 n‑gram( n>1 )이 컨텍스트 내에 존재하는 토큰 위치를 M 집합으로 정의하고, 이 위치들의 손실을 계산에서 제외한다(식 2‑3). 이렇게 하면 모델은 인덕션 헤드가 활용할 수 있는 학습 신호를 받지 못하므로, 인덕션 복사 능력이 억제된다.

실험에서는 GPT‑NeoX 기반 1B 파라미터 모델을 20k 스텝 동안 학습시켰으며, Hapax 모델은 전체 토큰 중 31.7%를 마스킹했다. 결과는 두 가지 주요 축으로 나뉜다. 첫째, 무작위 토큰 시퀀스 복제와 위키텍스트 복제와 같은 ‘복사형’ 과제에서 Hapix 모델은 정확도가 66%~89% 감소해 인덕션 헤드가 크게 약화된 것을 확인했다. 둘째, 국가‑수도 매핑, 다국어 단어 수준 번역 등 ‘추상형’ 과제에서는 Hapix 모델이 13/21(통계적으로 유의) 과제에서 기존 베이스라인보다 높은 정확도를 기록했으며, 라벨 오버랩을 제거한 통제 실험에서는 24/25 과제에서 우수한 성능을 보였다.

또한, 토큰 손실 차이(metric by Yoon & Steinhardt)를 분석한 결과, Hapix 모델은 인덕션 헤드가 예측할 수 없는 위치에서 오히려 낮은 손실을 달성했으며, 이는 모델이 복사 외의 메커니즘(예: 함수 벡터 헤드, 개념 인덕션 회로)으로 ICL을 학습했음을 의미한다. 한편, ‘Thresholded‑Hapax’ 변형에서는 코사인 유사도 임계값 τ=0.3을 적용해 마스킹 비율을 52.5%까지 늘렸지만, 번역 과제에서는 오히려 성능이 향상되는 등 마스킹 강도와 과제 특성 간의 상호작용이 관찰되었다.

이러한 결과는 인덕션 헤드가 초기 학습 단계에서 급격히 등장하고 손실 감소와 동시 발생한다는 현상이, 반드시 인덕션 복사와 추상 ICL 사이의 인과적 연결을 의미하지는 않음을 보여준다. 대신, 모델은 다양한 메커니즘을 병렬적으로 발달시켜 추상적인 추론 능력을 확보할 수 있다. 이는 향후 대규모 언어 모델 설계 시 복사 메커니즘에 과도하게 의존하지 않고, 보다 일반화된 함수형 헤드나 개념적 회로를 강화하는 방향으로 연구를 전개할 여지를 제공한다.