DiffusionBlocks: 확산 해석을 통한 블록 단위 독립 학습 프레임워크

초록

DiffusionBlocks는 잔차 연결을 연속시간 확산 과정의 오일러 이산화로 해석하고, 각 블록을 특정 잡음 구간에 대응하는 점성 복원 작업으로 변환한다. 이를 통해 변압기 기반 모델을 블록별로 독립적으로 학습시켜 메모리 사용량을 블록 수에 비례해 감소시키면서도 엔드‑투‑엔드 학습과 동등한 성능을 달성한다.

상세 분석

본 논문은 현대 대형 모델이 직면한 메모리 병목을 근본적으로 해결하고자, 잔차 연결이 실제로 연속시간 확산 모델의 확률 흐름 ODE를 오일러 방식으로 근사한다는 수학적 사실을 활용한다. 기존 블록‑와이즈 학습 방법들은 지역 목적함수를 임의로 설계하고, 전체 모델의 일관성을 보장하지 못해 성능 저하가 불가피했지만, DiffusionBlocks는 점성 복원(score‑matching) 이론에 기반한 손실을 각 블록에 직접 적용한다. 구체적으로, 전체 잡음 구간