마스크드 디퓨전 모델의 역전 저주 완화 메커니즘 분석

초록

본 논문은 마스크드 디퓨전 기반 언어 모델(MDM)이 자동회귀 모델(ARM)에서 흔히 나타나는 “역전 저주”(A는 B이지만 B는 A를 못 묻는 현상)를 왜 부분적으로 극복하는지를 구조적·학습 동역학 관점에서 규명한다. 단일층 Transformer 인코더에서 가중치 공유가 전방과 역방향 어텐션 점수를 양의 상관관계로 결합하고, 손실 최소화 과정에서 두 방향의 그래디언트가 정렬됨을 이론적으로 증명한다. 대규모 실험(7‑8B 파라미터)과 합성 토이 실험을 통해 이 메커니즘을 검증한다.

상세 분석

이 연구는 먼저 “역전 저주”가 ARM에서 발생하는 근본 원인을 확률적 목표 함수의 비대칭성—즉 p(y = B | x = A)만을 최적화하고 p(y = A | x = B)를 전혀 고려하지 않음—으로 정의한다. 반면 MDM은 마스크된 토큰을 복원하는 any‑order 목표를 사용하지만, 단순히 “