신경 붕괴를 통한 그로킹과 정보 병목 현상 통합 설명

초록

본 논문은 딥러닝 학습의 후기 단계에서 나타나는 그로킹(grokking)과 정보 병목(Information Bottleneck) 현상을 신경 붕괴(neural collapse) 현상의 관점에서 통합적으로 설명한다. 저자는 클래스 내 변동성 감소가 두 현상의 핵심 메커니즘임을 보이고, 경험적 클래스 내 변동성(Neural Collapse 1)과 모집단 클래스 내 변동성 사이의 차이를 일반화 오차와 유사한 방식으로 정량화한다. 또한, 그래디언트 흐름 분석을 통해 신경 붕괴가 나타나는 시간 스케일이 학습 데이터 적합보다 늦게 진행될 수 있음을 밝혀, 그로킹의 지연된 일반화와 IB 압축 단계의 발생 원인을 설명한다. 실험을 통해 이론적 결과를 다양한 데이터셋·아키텍처에 대해 검증한다.

상세 분석

이 논문은 먼저 “클래스 내 변동성(population within‑class variance)”이라는 새로운 지표를 정의한다. 이는 특성 추출기 g(x)를 입력 데이터의 최대 노름 B_g로 정규화한 뒤, 각 클래스 c에 대해 E