다중 객체 편집을 위한 흐름 매칭의 한계 돌파

초록

본 논문은 흐름 매칭 기반 이미지 편집 모델이 다중 객체를 동시에 수정할 때 발생하는 의미 혼합 문제를 해결한다. 전역 조건화와 공동 어텐션이 초래하는 속성 누수를 방지하기 위해 인스턴스‑분리 어텐션(Instance‑Disentangled Attention)을 제안한다. 토큰을 전역·지역·배경·컨텍스트 등으로 구분하고, 인스턴스별 마스크 M₍dis₎와 전역 조화 마스크 M₍har₎를 층별로 적용해 각 편집 대상이 독립적으로 영향을 받도록 설계한다. 또한, 다중 프롬프트를 효율적으로 인코딩하는 전략을 도입해 연산량을 최소화한다. 자연 이미지와 텍스트‑밀집 인포그래픽 두 도메인에서 실험한 결과, 편집의 분리성, 지역성, 전체적인 일관성을 동시에 달성하면서도 단일 패스 추론이 가능함을 입증한다.

상세 분석

이 연구는 최근 주목받는 흐름 매칭(Flow Matching) 기반 생성 모델이 다중 인스턴스 편집에서 겪는 근본적인 한계를 정확히 짚어낸다. 기존 MMDiT 구조는 텍스트·이미지·컨텍스트 토큰을 하나의 시퀀스로 결합해 공동 어텐션을 수행한다. 이 설계는 전역적인 시각적 일관성을 확보하는 데는 유리하지만, 서로 다른 편집 명령이 동일한 어텐션 맵을 공유하면서 ‘속성 누수(attribute leakage)’가 발생한다. 특히 N개의 편집 명령이 동시에 주어질 때, 각 명령이 담당하는 영역 외의 픽셀까지 영향을 받아 원치 않는 변형이 일어나며, 이는 인포그래픽처럼 텍스트가 밀집된 도메인에서 치명적이다.

논문은 이를 해결하기 위해 토큰을 여섯 종류(Tg, Tₙ, Lᵤ, Lₙ, Cᵤ, Cₙ)로 명시적으로 분할하고, 인스턴스별 어텐션 마스크 M₍dis₎를 정의한다. M₍dis₎는 동일 인스턴스에 속한 텍스트·이미지·컨텍스트 토큰끼리만 상호작용하도록 제한하고, 전역 프롬프트와 배경 토큰은 모든 토큰에 자유롭게 어텐션을 허용한다. 이렇게 하면 각 편집 대상이 자신의 지역 토큰에만 영향을 미치면서도 전체 이미지의 색조·구조적 일관성은 유지된다.

전역 조화 마스크 M₍har₎는 중간·후반 층에서 적용돼, 인스턴스 간의 제한적 교류를 허용함으로써 전체적인 시각적 조화를 촉진한다. 저자는 층별 마스크 적용 전략을 제안하는데, 초기 층(L₍early₎)에서는 M₍har₎를, 중간 층(L₍mid₎)에서는 M₍dis₎를, 마지막 층(L₍late₎)에서는 다시 M₍har₎를 사용한다. 이는 트랜스포머가 초기에는 저수준 특징을, 중간에는 의미적 결합을, 마지막에는 전역적인 재구성을 수행한다는 기존 연구와 일치한다.

텍스트 인코딩 측면에서도 두 가지 기존 접근법(프롬프트 후처리 마스킹, 다중 프롬프트 독립 인코딩)의 단점을 보완한다. 저자는 전역 프롬프트와 인스턴스별 서브프롬프트를 별도로 인코딩하되, 토큰 길이를 전체 의미량에 비례하도록 설계해 연산 복잡도를 선형이 아닌 거의 상수에 가깝게 유지한다. 이는 다중 인스턴스가 수십 개에 달아도 실시간 추론이 가능하도록 만든다.

실험에서는 자연 이미지 편집 벤치마크와 새로 만든 텍스트‑밀집 인포그래픽 데이터셋을 사용한다. 인포그래픽 데이터셋은 각 이미지에 다수의 텍스트 영역과 해당 영역을 다른 언어로 교체하는 명령을 제공한다. 결과는 기존 흐름 매칭 기반 편집기와 Diffusion 기반 다중 편집 기법에 비해 편집 정확도(정확히 교체된 텍스트 비율), 지역 유지성(비편집 영역 변화 최소), 그리고 전반적인 이미지 품질(PSNR, SSIM)에서 모두 우수함을 보여준다. 특히, 단일 패스 추론으로도 다중 편집을 수행함으로써 기존 방법이 필요로 하던 반복적인 마스크 업데이트나 추가적인 최적화 단계를 크게 줄였다.

이 논문의 핵심 기여는 (1) 흐름 매칭 모델에 인스턴스‑분리 어텐션을 도입해 전역 조건화의 한계를 극복한 점, (2) 마스크 설계와 층별 적용 전략을 통해 편집의 독립성과 전역 일관성을 동시에 만족시킨 점, (3) 효율적인 다중 프롬프트 인코딩 방식을 제시해 실시간 다중 편집을 가능하게 한 점, (4) 인포그래픽이라는 새로운 도메인에 대한 벤치마크를 구축하고 공개한 점이다. 한계로는 마스크 설계가 토큰 파티셔닝에 크게 의존하므로, 복잡한 형태(예: 겹치는 영역)의 경우 토큰이 다중 파티션에 속하게 되어 약간의 혼합이 발생할 수 있다. 또한, 현재는 바운딩 박스 기반의 지역 지정에 초점을 맞추었으며, 자유형 마스크나 비정형 객체에 대한 확장은 추가 연구가 필요하다.