그로킹의 역전: 후기 일반화 붕괴와 WeightWatcher 기반 안티그로킹 탐지

초록

본 논문은 기존 그로킹 현상에 이어 “안티그로킹”이라 불리는 후기 일반화 붕괴 단계를 발견한다. 3‑계층 MLP와 모듈러 덧셈 트랜스포머를 장시간 학습시킨 결과, 테스트 정확도가 다시 우연 수준으로 떨어지는 현상이 관찰되었다. 이를 진단하기 위해 WeightWatcher 도구의 두 지표, Correlation Traps (특이히 큰 고윳값)와 HTSR 지수 α (2.0에서 벗어남)를 사용하였다. 다른 기존 메트릭(ℓ₂‑norm, Activation Sparsity 등)은 안티그로킹을 포착하지 못한다. 실험에서는 가중치 감쇠가 Correlation Traps 발생을 억제하고 붕괴 정도를 완화한다는 사실도 확인하였다.

상세 분석

이 연구는 그로킹 현상을 세 단계(프리‑그로킹, 그로킹, 안티그로킹)로 재구성함으로써 기존 문헌이 놓쳤던 후기 일반화 붕괴 현상을 체계적으로 규명한다. 핵심은 WeightWatcher가 제공하는 두 가지 레이어 품질 지표이다. 첫 번째는 Correlation Traps 으로, 무작위화된 가중치 행렬 W_rand 의 경험적 스펙트럼 밀도(ESD)와 비교해 MP(마르첸코–파스토프) bulk를 크게 초과하는 고윳값을 의미한다. 이러한 고윳값은 레이어 내부에 비정상적인 상관구조가 형성되었음을 나타내며, 이론적으로는 과적합과 직접 연결된다. 두 번째 지표는 HTSR 지수 α 이다. α≈2는 최적 일반화 상태를 의미하고, α>2는 약한 상관, α<2는 매우 무거운 꼬리(VHT)로 과적합을 시사한다. 논문에서는 안티그로킹 단계에서 평균 α가 2를 크게 벗어나(MLP에서는 α<2, MA에서는 α>2) 레이어가 과도하게 특수화되는 현상을 관찰한다.

실험 설계는 두 가지 대표적인 그로킹 설정을 사용한다. 첫 번째는 MNIST 서브셋에 대해 200유닛 폭, ReLU 활성화를 갖는 3‑계층 MLP이며, 두 번째는 6‑레이어 트랜스포머가 모듈러 덧셈(모듈 97) 문제를 학습한다. 두 모델 모두 기존 연구에서 제시된 학습 단계(≈10⁵~10⁶ 스텝) 이후, 10⁷ 스텝까지 연장 학습했을 때 테스트 정확도가 급격히 0.5(우연) 수준으로 회귀한다. 이때 훈련 정확도는 100%를 유지해, 전형적인 “완전 학습‑불완전 일반화” 상황이 뒤바뀌는 것을 보여준다.

WeightWatcher 분석 결과, 안티그로킹이 시작될 때 Correlation Traps 수가 급증한다. 특히 MLP에서는 레이어 2와 3에서 λ_trap≈10⁶ 규모의 스파이크가 나타나며, KS 검정 p‑값이 급격히 상승해 MP 적합도가 크게 악화된다. MA 모델에서는 전체 스펙트럼이 VHT 형태를 띠어 α가 2 이하로 급락하고, 동시에 소수의 초대형 고윳값이 지속적으로 등장한다.

가중치 감쇠(Weight Decay, WD>0)를 도입하면 Correlation Traps 발생 빈도가 현저히 감소하고, 안티그로킹으로 인한 테스트 정확도 하락 폭도 완화된다. 이는 정규화가 레이어 간 상관구조를 억제해 과적합을 방지한다는 기존 이론과 일치한다.

또한 논문은 다른 메트릭과의 비교를 수행한다. ℓ₂‑norm은 그로킹 단계에서 증가하지만 안티그로킹을 구분하지 못하고, Activation Sparsity, Absolute Weight Entropy, Approximate Local Circuit Complexity 등은 프리‑그로킹‑그로킹 전이만을 포착한다. 따라서 WeightWatcher 기반 지표가 안티그로킹을 식별하는 유일한 도구임을 강조한다.

마지막으로, 대규모 오픈소스 LLM(GPT‑20B/120B)에서도 유사한 Correlation Traps 패턴이 관찰되어, 안티그로킹 현상이 소규모 실험에 국한되지 않고 실제 서비스 모델에서도 발생 가능함을 시사한다. 이는 모델 배포 후 장기적인 성능 유지와 관련된 중요한 경고 신호이다.