잔차 쿠프만 스펙트럼 프로파일링으로 변압기 학습 불안정성 예측 및 방지

초록

본 논문은 변압기(Transformer) 모델의 초기화 단계에서 단 한 번의 순전파만으로 레이어별 잔차 흐름을 이용해 쿠프만 연산자를 추정하고, 그 스펙트럼 중 단위 원에 가까운 모드 비율(near‑unit spectral mass)을 불안정성 위험 지표로 활용한다. 제안한 Residual Koopman Spectral Profiling(RKSP)은 AUROC 0.995의 높은 예측 정확도를 보이며, 위험이 감지된 경우 Koopman Spectral Shaping(KSS)이라는 스펙트럼 정규화를 적용해 학습 발산을 효과적으로 억제한다. 다양한 데이터셋·아키텍처·정규화 설정에서 실험을 수행해 방법의 일반성을 입증한다.

상세 분석

RKSP는 변압기의 잔차 연결을 이산 시간 동적 시스템으로 모델링하고, 각 레이어의 입력‑출력 잔차 쌍을 샘플링해 백색화된 동적 모드 분해(whitened DMD)를 적용한다. 이 과정에서 얻어진 선형 근사 행렬 ˆAℓ의 고유값 스펙트럼을 분석해 세 가지 질량(M>1, M≈1, M<1)으로 구분한다. 특히 |λ|가 1±ε 구간에 존재하는 비율인 near‑unit mass M≈1은 레이어가 거의 등거리(isometric) 전파를 수행함을 의미하며, 이는 신호와 그래디언트가 충분히 감쇠되지 않아 최적화 과정에서 작은 잡음도 증폭될 위험을 내포한다. 논문은 정상성(normality) 가정 하에 고유값이 특이값과 일치함을 보이며, M≈1이 클수록 평균 에너지 보존(E