생성 모델 훈련의 함정과 새로운 적대적 목표
** 본 논문은 이미지 캡션 등에서 성공을 거둔 스케줄드 샘플링(Scheduled Sampling)의 이론적 결함을 밝히고, 최대우도(MLE) 대신 KL \(Q\|P\) 를 최소화하는 것이 인간이 느끼는 ‘자연스러운’ 샘플 품질에 더 적합함을 주장한다. 이를 위해 일반화된 제이슨-섀넌(Jensen‑Shannon) 발산을 도입하고, 기존 적대적 학습(Adversarial Training)이 왜 고품질 샘플을 생성하는지 이론적으로 설명한다. …
저자: Ferenc Huszar
**
본 논문은 현대 딥러닝 기반 생성 모델이 직면한 두 가지 근본적인 문제를 다룬다. 첫 번째는 **스케줄드 샘플링(Scheduled Sampling, SS)** 이라는 훈련 기법이 실제로는 통계적으로 일관되지 않은 추정 방법이라는 점이다. 저자는 자동회귀(autoregressive) 시퀀스 모델을 예시로 삼아, SS가 기존 최대우도(ML) 학습과 어떻게 다른지를 KL 다이버전스 관점에서 정량화한다.
ML은 데이터의 실제 프리픽스만을 사용해 조건부 확률 \(Q(x_n|x_{
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기