멀티오브젝트 합성의 새로운 패러다임 PLACID

초록

PLACID는 사전학습된 이미지‑투‑비디오 확산 모델을 활용해 여러 물체를 동시에 합성하면서 각 물체의 정체성을 완벽히 보존하고, 배경·색상 정확도와 레이아웃 제어성을 확보한다. 무작위 위치에 배치된 물체들을 텍스트 안내에 따라 부드러운 합성 궤적으로 이동시켜 최종 프레임을 고품질 합성 이미지로 만든다. 합성 데이터는 인위적으로 생성한 짧은 영상으로 구성해 영상 모델의 시간적 사전 지식을 효과적으로 학습한다.

상세 분석

PLACID는 기존 이미지‑투‑이미지( I2I ) 기반 합성 모델이 겪는 정체성 손실·객체 누락·색상 왜곡 문제를 해결하기 위해 이미지‑투‑비디오(I2V) 확산 모델을 핵심 엔진으로 채택한다. I2V 모델은 시간 축에 걸친 객체 간 상호작용과 재배치를 학습했기 때문에, 물체가 프레임 간에 일관된 모습을 유지하도록 자연스러운 움직임을 제공한다. 이를 위해 저자들은 두 가지 핵심 기법을 도입한다. 첫째, 고해상도 물체 이미지와 선택적 배경을 별도의 CLIP 인코더로 인코딩해 기존 DiT(Video Diffusion Transformer)의 첫 프레임 입력에 추가하고, 교차‑Attention을 통해 시각적 디테일을 직접 전달한다. 이 과정에서 물체 간 혼합이나 흐림 현상을 크게 억제한다. 둘째, 텍스트 프롬프트에 , , , 토큰을 삽입해 각 물체와 배경을 명시적으로 구분함으로써 텍스트‑시각 연관성을 강화한다. 학습 단계에서는 LoRA 어댑터를 이용해 사전학습된 I2V 가중치를 크게 변형하지 않으면서 새로운 조건에 맞게 미세조정한다. 손실 함수는 Flow Matching 기반으로, 전체 비디오 프레임(특히 의미 있는 중간 프레임)에서의 속도 예측 오차를 최소화한다. 가장 혁신적인 부분은 합성 데이터 생성 파이프라인이다. 기존 비디오 데이터는 움직이는 물체가 인간이나 차량 등 동적인 경우가 대부분이라 정적인 물체의 독립 이동을 제공하지 못한다. 저자들은 목표 합성 이미지와 무작위 초기 배치를 기반으로 물체마다 선형 궤적을 설계해 짧은 영상(초당 몇 프레임)을 인위적으로 만든다. 이렇게 만든 데이터는 시간적 일관성을 유지하면서도 물체 정체성을 보존하도록 설계돼, 영상 모델의 시간적 사전 지식을 효과적으로 활용한다. 실험에서는 CLIP‑Score, LPIPS, Identity‑Score 등 정량 지표와 사용자 설문을 통해 PLACID가 기존 AnyDoor, IMPRINT, DSD 등과 비교해 정체성 보존, 색상 정확도, 누락 객체 비율에서 현저히 우수함을 입증한다. 한계점으로는 합성 궤적이 선형에 국한돼 복잡한 물리적 상호작용을 표현하기 어렵고, 매우 많은 객체가 동시에 등장할 경우 메모리·연산 비용이 급증한다는 점을 언급한다.