점진적 미세조정: 흐름 매칭 모델의 효율적 적응 기법

초록

본 논문은 사전학습된 흐름 매칭 모델을 목표 분포의 샘플만을 이용해 안정적으로 미세조정하기 위한 Gradual Fine‑Tuning(GFT) 프레임워크를 제안한다. 온도 파라미터를 이용해 사전 모델과 목표 드리프트 사이를 연속적으로 보간함으로써, 학습 초기에 사전 지식을 보존하고 점진적으로 목표 분포에 수렴하도록 설계하였다. 이론적으로 경로 측도 간 KL 발산을 최소화하는 최적 드리프트를 도출하고, 임의의 소스‑타깃 커플링(예: 최적 수송)과도 호환됨을 증명한다. 실험에서는 GFT가 수렴 안정성을 높이고 확률 경로 길이를 단축시켜 추론 속도를 개선하면서도 기존 미세조정 대비 생성 품질을 유지함을 확인하였다.

상세 분석

GFT는 흐름 매칭 모델의 미세조정을 “온도‑가중 평균” 형태의 목표 함수로 정형화한다. 구체적으로, 사전 모델 (P_{\theta_0})와 목표 프로세스 (P_q) 사이의 KL 발산에, 사전 모델과의 차이를 억제하는 정규화 항 (\beta KL(P_\theta|P_{\theta_0}))을 더한 형태(식 9)를 최소화한다. Girsanov 정리를 이용해 경로 측도가 아닌 드리프트 (v_\theta)에 대한 손실식으로 변환하면,
\