LayerSync: 내부 레이어 자체 정렬로 확장된 디퓨전 모델

초록

LayerSync는 외부 사전학습 모델 없이 디퓨전 모델 내부의 깊은 레이어를 약한 초기 레이어에 정렬시켜, 학습 효율을 8배 이상 가속하고 이미지·오디오·비디오·모션 등 다양한 도메인에서 FID·FAD·FVD 등 품질 지표를 크게 향상시키는 플러그인형 정규화 기법이다.

상세 분석

본 논문은 디퓨전 모델의 중간 표현이 층마다 품질 차이를 보인다는 기존 연구를 기반으로, 가장 의미론적으로 풍부한 깊은 레이어의 특징을 약한 얕은 레이어에 직접 전달하는 “자기 정렬(self‑alignment)” 메커니즘을 제안한다. 핵심 아이디어는 두 레이어 k와 k′(k < k′) 사이의 코사인 유사도를 최대화하는 손실 L₍LayerSync₎(k,k′)=−E₍xₜ, t₎