확산 모델 정렬: 핵심 원리와 미래 과제

초록

본 리뷰는 확산 모델을 인간 의도와 선호에 맞추는 정렬(Alignment) 연구를 총망라한다. 정렬의 기본 개념, 인간 피드백 기반 선호 데이터와 모델링, 강화학습·직접 선호 최적화 등 알고리즘, 확산 모델 특화 정렬 기법, 벤치마크와 평가 지표, 그리고 현재 직면한 기술적·윤리적 과제와 향후 연구 방향을 체계적으로 정리한다.

상세 분석

이 논문은 확산 모델이 이미지·비디오·음성·3D·분자 등 다양한 도메인에서 뛰어난 생성 능력을 보이지만, 훈련 목표가 인간이 기대하는 세부 미학·의도·안전성 등을 반영하지 못한다는 근본적인 정렬 문제를 강조한다. 저자들은 대형 언어 모델(LLM) 정렬에서 성공한 RLHF, DPO, 직접 선호 최적화(DPO) 등을 확산 모델에 적용하는 흐름을 상세히 분석한다. 특히, 확산 모델은 연속적인 고차원 이미지 공간을 다루므로, 인간 선호를 쌍(pairwise) 형태로 수집하고 이를 브래들리-터리(Bradley‑Terry) 혹은 플라켓‑루스(Plackett‑Luce) 모델로 보상 함수로 변환하는 과정이 핵심이다. 논문은 두 가지 정렬 패러다임을 구분한다. ① 훈련 기반 정렬: 사전 학습된 확산 모델을 인간 피드백으로 미세조정하는 방법으로, RLHF(예: ReFL, DDPO), DPO 계열(예: Diffusion‑DPO, D3PO) 및 KTO 기반 기법을 제시한다. 여기서는 정책 업데이트 시 KL‑제약을 통해 원본 모델과의 차이를 제한하면서 인간 선호를 반영한다. ② 테스트‑타임 정렬: 생성 과정 중에 직접 가이던스를 삽입하는 방식으로, 프롬프트 최적화, 초기 노이즈 조정, 어텐션 제어, 보상 기반 디코딩·샘플링 등이 포함된다. 이러한 방법은 모델 파라미터를 변경하지 않으면서도 실시간으로 원하는 속성을 강화한다.

또한, 논문은 정렬 데이터셋을 크게 두 축으로 분류한다. 스칼라 인간 선호 데이터(HPD‑v1/v2, Pick‑a‑Pic 등)와 다차원 피드백 데이터(MHP, RichHF‑18K 등)이며, 각각은 보상 모델 학습과 평가에 활용된다. 평가 지표는 전통적인 이미지 품질 지표(IS, FID)와 인간 선호 일치도(예: CLIP, Aesthetic, PickScore, ImageReward)로 나뉘며, 세밀한 품질·스타일·사회적 가치 등을 측정하는 Fine‑grained 평가(예: DALL‑Eval, GenEval, VPEval)도 제시한다.

핵심 도전 과제로는 (1) 고차원 연속 공간에서의 선호 표집 비용, (2) 보상 모델의 편향·불확실성, (3) RL 기반 정렬 시 샘플 효율성 및 안정성, (4) 안전·윤리적 위험(유해 콘텐츠, 저작권 침해) 등이 있다. 저자들은 이러한 문제를 해결하기 위해 (a) 멀티‑모달·다중‑피드백 통합, (b) 불확실성 정량화와 안전성 보장, (c) 효율적인 샘플링·정책 업데이트 알고리즘, (d) 도메인‑특화 정렬(예: 약물 설계, 3D 모델링) 연구를 제안한다.

전반적으로, 이 리뷰는 확산 모델 정렬이 아직 초기 단계임을 인정하면서도, LLM 정렬에서 얻은 교훈을 기반으로 한 체계적인 연구 로드맵을 제공한다. 특히, 정렬 알고리즘, 데이터 수집·모델링, 평가 프레임워크를 통합한 종합적인 접근이 향후 확산 모델을 인간 중심 AI로 전환하는 핵심 열쇠가 될 것이라고 주장한다.