트랜스포머의 노이즈 안정성: 단순성 측정과 학습 가속화

초록

본 논문은 기존의 평균 민감도 지표가 실수값 입력과 최신 LLM의 “정라타(junta)‑유사” 특성을 포착하지 못한다는 한계를 지적하고, 모든 입력에 동시에 적용되는 상관 잡음에 대한 모델의 복원력을 나타내는 노이즈 안정성(noise stability) 을 새로운 단순성 메트릭으로 제안한다. 단일 레이어 Attention·ReLU‑MLP에 대한 이론적 분석과 다층 전파를 위한 공분산 구간 전파 기법을 개발하고, 이를 기반으로 노이즈 안정성 정규화를 설계한다. 알고리즘 과제와 차기 토큰 예측 실험에서 정규화가 grokking을 촉진하고 학습 시간을 각각 약 35 %와 75 % 단축함을 입증한다.

상세 분석

논문은 먼저 평균 민감도(average sensitivity)가 Boolean 함수 분석에서 유래했으며, 단일 토큰 변동에 대한 기대 출력 변화를 측정하지만 실수값 입력을 다루는 현대 딥러닝 모델에 자연스럽게 확장되지 못한다는 이론적·실증적 문제점을 제시한다. 특히 GPT‑2, GEMMA‑2B, ROBERTA 등 대형 언어 모델이 전체 토큰 중 극히 일부만이 높은 영향력을 갖는 “정라타(junta)‑유사” 입력 의존성을 보임에도, 평균 민감도는 이러한 현상을 설명하기에 충분히 강력한 상한을 제공하지 못한다.

이를 보완하기 위해 저자들은 Gaussian 측정 하에서 Ornstein‑Uhlenbeck 연산자 (T_\rho) 를 이용해 정의되는 노이즈 안정성 ( \operatorname{Stab}_\rho(f)=\mathbb{E}