트랜스포머의 '그로킹' 현상을 푸는 열쇠, 유도적 편향

초록

본 연구는 트랜스포머 모델이 학습 데이터는 빠르게 맞추지만 일반화는 훨씬 나중에 이루어지는 ‘그로킹’ 현상을 유도적 편향의 관점에서 분석한다. 레이어 정규화(LN)의 위치와 같은 아키텍처 선택이 그로킹 속도를 강력하게 조절하며, 이는 LN이 특정 경로에서의 ‘숏컷 학습’과 어텐션 엔트로피를 형성하는 방식으로 설명된다. 또한 학습률과 가중치 감쇠와 같은 최적화 설정도 그로킹을 조절하며, 이전 연구에서 제안된 ‘레이지 트레이닝’의 대리 지표인 ‘리드아웃 스케일’의 해석을 혼란스럽게 할 수 있음을 보인다. 궁극적으로 특징의 압축성이 일반화의 예측 가능한 지표가 됨을 확인한다.

상세 분석

이 논문은 트랜스포머에서 발생하는 그로킹(Grokking) 현상을 ‘유도적 편향(Inductive Bias)‘이라는 개념적 렌즈를 통해 체계적으로 해부한 중요한 연구이다. 핵심 통찰은 모델의 아키텍처와 최적화 과정에 내재된 편향이 학습 과정에서 특정 해법을 선호하도록 유도하며, 이로 인해 일반화에 이르는 속도와 경로가 결정된다는 것이다.

첫 번째 주요 발견은 레이어 정규화(LN)의 위치가 그로킹 속도에 지대한 영향을 미친다는 점이다. 저자들은 모듈러 덧셈 작업을 학습하는 1층 트랜스포머를 실험 대상으로 삼아, LN을 멀티헤드 어텐션(MHSA)이나 MLP의 입력에 적용하는 등 다양한 위치에 배치했다. 실험 결과, MLP 입력에만 LN을 적용한 구성(‘M’)이 가장 빠르게 일반화에 도달했고, LN을 사용하지 않은 구성이 가장 느렸다. 이는 LN이 단순한 안정화 도구를 넘어, 모델이 데이터의 ‘진짜 규칙’을 학습하는 데 필요한 ‘편향’을 공급하는 역할을 함을 시사한다.

이 현상의 메커니즘을 저자들은 세 가지 경로로 설명한다. 1) MLP 입력 스케일의 영향: LN 없이 MLP 입력의 노름(norm)만 제거했을 때 훈련 손실이 급증하는 실험(‘SR-train’)을 통해, LN이 없는 네트워크가 특징의 ‘방향’보다 ‘크기(스케일)‘에 의존하는 ‘숏컷 학습’에 빠질 수 있음을 보였다. LN은 이 스케일 의존성을 제거하여 보다 구조화된 특징 학습을 유도한다. 2) 어텐션 스코어 엔트로피: LN을 쿼리와 키 입력에 적용하면 어텐션 스코어 분포의 엔트로피가 낮아져 표현력이 제한된다. 모듈러 덧셈에서 일반화는 삼각함수 항등식을 활용한 어텐션 메커니즘에 의존하는데, 낮은 엔트로피는 이 구성을 방해한다. 3) 밸류 채널 스케일: 어텐션의 밸류 입력에 LN을 적용하면(A^v), 어텐션 출력이 MLP에 주는 입력의 스케일 변동을 줄여 그로킹을 가속화하지만, MLP 입력에 직접 LN을 적용하는 것(M)보다는 효과가 약하다.

두 번째 주요 분석은 최적화 선택지가 유도적 편향을 통해 그로킹을 어떻게 조절하는지, 그리고 기존 해석의 한계를 밝힌다. 특히 ‘레이지(Lazy) 트레이닝’의 지표로 사용되던 ‘리드아웃 스케일’이 학습률과 가중치 감쇠 같은 다른 하이퍼파라미터에 의해 혼동될 수 있음을 지적한다. 이는 단일 변인으로 학습 체제를 ‘레이지’ 또는 ‘리치’로 분류하는 접근법이 본 실험 설정에서는 제한적일 수 있음을 의미한다. 대신 특징 자체가 학습 전 과정에 걸쳐 연속적으로 진화하며, 그로킹이 단순한 ‘레이지-리치 전환’보다 더 미묘한 과정일 수 있음을 시사한다.

마지막으로, 다양한 유도적 편향 조절자(아키텍처, 최적화)에 걸쳐 ‘특징의 압축성’이 일반화의 예측 가능한 선행 지표가 됨을 보인다. 즉, 모델이 일반화할 때는 특징 표현이 더욱 구조화되고 압축 가능한 형태(예: 푸리에 기저에서의 뚜렷한 주기적 패턴)로 진화한다. 이는 그로킹이 단순한 지연 현상이 아닌, 내재된 편향에 의해 유도되는 체계적인 특징 학습 과정의 결과임을 강력하게 지지하는 결론이다.