협동 다중 에이전트 확산을 통한 합성 생성 제어

초록

본 논문은 사전 학습된 여러 확산 모델을 하나의 목표 함수에 맞춰 공동으로 제어하는 새로운 프레임워크인 CMAD를 제안한다. 각 모델을 독립적인 에이전트로 보고, 이들의 역확산 궤적을 최적 제어 이론에 기반한 Stochastic Optimal Control(SOC) 문제로 전환한다. 제안된 방법은 확률 밀도 함수를 직접 합성하는 기존 방식과 달리, 목표 손실을 직접 최소화하도록 제어 신호를 학습한다. MNIST 조건부 생성 실험에서 기존 DPS 기반 베이스라인보다 낮은 터미널 손실과 더 일관된 이미지 품질을 달성하였다.

상세 분석

CMAD는 기존의 “밀도 곱”이나 “기하 평균”과 같은 대수적 조합 방식이 목표 분포를 명시적으로 알 필요가 있다는 한계를 극복한다. 논문은 사전 학습된 확산 모델 각각을 독립적인 확산 에이전트로 모델링하고, 이들 에이전트의 상태 Xᵤ,ᵢₜ 를 공동으로 제어하는 제어 변수 uᵢ 를 도입한다. 제어 변수는 모든 에이전트의 현재 상태와 집합적 출력 Yₜ = φ({Xᵤ,ᵢₜ})에 의존하는 Coupled SDE 형태로 정의되며, 이는 전통적인 SOC 문제와 동일한 구조를 가진다. 목표 함수 J 는 (i) 제어 비용의 2‑노름, (ii) 시간에 따라 변하는 중간 비용 c(Yₜ, t) , (iii) 최종 비용 Ψ(Y_T) 으로 구성된다. 중간 비용 c 는 Ψ 의 시간‑가중된 추정값 αₜ Ψ(ĤY₀) 으로 구현돼, 역확산 과정 전반에 걸쳐 풍부한 그래디언트를 제공한다.

알고리즘 측면에서 저자는 “Control‑wise Optimisation with Iterative Diffusion Optimisation”(IDO)이라는 좌표‑별 최적화 절차를 제시한다. 외부 루프에서 하나의 에이전트를 선택하고, 내부 루프에서 해당 에이전트의 제어 uᵢ 를 고정된 다른 에이전트와 함께 Monte‑Carlo 시뮬레이션을 통해 손실과 그래디언트를 추정한다. 추정된 그래디언트는 스텝 사이즈 η 로 업데이트되며, 집합 연산자 φ 의 파라미터 ϑ 도 동시에 학습된다. 이 방식은 전통적인 SOC에서 사용되는 adjoint‑matching이나 경로‑와이즈 그라디언트 추정과 유사하지만, 다중 에이전트 간의 상호 의존성을 명시적으로 다룬다.

실험에서는 MNIST 이미지의 수평 스트립을 각각 담당하는 2~3개의 에이전트를 구성하고, 목표 클래스를 지정하는 사전 학습된 분류기의 음의 로그우도 Ψ 를 최종 비용으로 사용했다. 추가로 경계선 연속성을 보장하기 위해 seam‑continuity 손실을 도입해 시각적 일관성을 강화하였다. 비교 대상인 CDPS(확산‑기반 퍼스베이셔널 샘플링)와 비교했을 때, CMAD는 동일하거나 더 높은 분류 정확도를 유지하면서 터미널 손실을 현저히 낮추었다. 정성적 결과에서도 CDPS가 가끔 비현실적인 패턴을 생성하는 반면, CMAD는 보다 자연스러운 숫자 형태를 재현했지만 다양성은 약간 감소했다.

이 논문의 핵심 기여는 (1) 다중 사전 학습 모델을 공동 제어 문제로 재구성한 새로운 프레임워크, (2) 제어‑별 좌표 최적화를 통한 효율적인 학습 절차, (3) 목표 손실을 직접 최소화함으로써 알지 못하는 복합 목표를 구현할 수 있다는 점이다. 한계점으로는 현재 실험이 저차원 MNIST에 국한되어 있어 고해상도 이미지나 복합 텍스트‑이미지 조건부 생성에 대한 확장 가능성이 검증되지 않았으며, 제어‑별 업데이트가 수렴 보장을 갖는지에 대한 이론적 분석이 부족하다. 향후 연구에서는 고차원 데이터에 대한 경로‑와이즈 그라디언트 추정, adjoint‑matching 기법과의 결합, 그리고 집합 연산자 φ 의 파라미터화 학습을 통해 보다 일반적인 합성 생성 시나리오에 적용할 수 있을 것으로 기대한다.