정밀 지시 기반 이미지 편집을 위한 CogniEdit: 밀도 높은 그래디언트 흐름 최적화

초록

CogniEdit은 멀티모달 대형 언어 모델로 복잡한 편집 명령을 분해하고, 동적 토큰 포커스 재배치와 밀도 GRPO를 결합해 연속적인 디노이징 단계에 걸쳐 그래디언트를 전파한다. 이를 통해 색상·위치·수량 등 세밀한 속성을 정확히 반영하면서도 원본 이미지와의 일관성을 유지한다.

상세 분석

본 논문은 최근 확산 기반 이미지 편집이 자연어 지시를 따르는 데 한계가 있다는 점을 지적한다. 특히 색상, 위치, 수량과 같은 정밀 속성을 요구하는 지시에서는 기존 모델이 텍스트와 시각적 특성 사이의 정렬을 놓친다. 이러한 문제는 두 가지 원인으로 분석된다. 첫째, 학습 단계에서 전체 이미지와 목표 이미지 간의 전반적인 유사도만을 최적화해 세부 속성에 대한 명시적 신호가 부족하다. 둘째, 최신 강화학습 기법인 Group Relative Policy Optimization(GRPO)이 각 샘플링 스텝을 독립적으로 최적화함으로써, 디노이징 과정 전체에 걸친 연속적인 피드백을 제공하지 못한다는 점이다.

Cog니Edit은 이 두 문제를 동시에 해결한다. 먼저, 멀티모달 대형 언어 모델(MLLM)을 이용해 복합 지시를 “동작”, “대상”, “속성” 등 실행 가능한 서브 명령으로 분해한다. 이때 동적 토큰 포커스 재배치(Dynamic Token Focus Relocation) 모듈이 각 디코더 레이어에서 강조해야 할 토큰을 예측하고, 학습 가능한 소프트 토큰을 삽입해 레이어별로 고수준 의미와 세부 속성을 순차적으로 집중하도록 만든다. 이는 모델이 초기 레이어에서는 전반적인 편집 의도를, 깊은 레이어에서는 색상·위치·수량 등 미세한 속성을 정확히 파악하도록 돕는다.

두 번째 핵심은 밀도 GRPO(Dense GRPO)이다. 기존 GRPO는 동일한 입력에 대해 여러 샘플을 생성해 그룹 평균 대비 보상을 계산했지만, 편집 작업에서는 결정론적 ODE가 주를 이루어 다양성이 부족했다. 논문은 Euler‑Maruyama 방식으로 확산 과정을 SDE로 변환해 의도적으로 노이즈를 주입함으로써 샘플 간 변동성을 확보한다. 이후 배치 수준에서 평균·표준편차를 이용해 advantage를 정규화해 고분산을 억제하고, 연속적인 k 단계에 걸쳐 보상을 평가·역전파한다. stop‑gradient 기법을 활용해 이전 단계까지 그래디언트가 흐르도록 함으로써, 초기 디노이징 단계에서의 작은 오류도 전체 편집 결과에 반영되게 한다.

실험에서는 기존 InstructPix2Pix, BrushEdit, Qwen‑Image 등과 비교해 색상 정확도, 위치 정밀도, 수량 일치도 등 세 가지 세부 지표에서 현저히 높은 점수를 기록했다. 특히 복합 명령(예: “왼쪽 위에 파란색 사과 3개 추가”)에 대해 시각적 일관성(consistency)과 논리적 일관성(coherence)을 동시에 만족시키는 결과를 보여준다. Ablation study는 동적 토큰 포커스와 밀도 GRPO 각각이 성능 향상에 기여함을 입증한다.

전체적으로 CogniEdit은 텍스트‑이미지 정렬을 위한 의미적 추론과, 디노이징 전체에 걸친 연속적 보상 전달이라는 두 축을 결합해, 정밀 지시 기반 이미지 편집 분야에 새로운 패러다임을 제시한다. 다만, 노이즈 주입에 따른 샘플 다양성 확보가 편집 안정성에 미치는 영향과, 대규모 MLLM 의존도가 계산 비용을 증가시킨다는 점은 향후 연구 과제로 남는다.