다음스케일 시각 자동회귀 모델을 활용한 고정밀 이미지 편집

초록

VAREdit은 시각 자동회귀(VAR) 프레임워크에 기반해, 소스 이미지와 텍스트 명령을 조건으로 다중 스케일 특징을 순차적으로 예측한다. 가장 큰 특징은 첫 번째 셀프‑어텐션 레이어에 스케일에 맞춘 참조 정보를 삽입하는 Scale‑Aligned Reference(SAR) 모듈이다. 이를 통해 미세 스케일 소스 정보만으로도 코스 스케일 목표 특징을 정확히 생성할 수 있다. EMU‑Edit와 PIE‑Bench에서 CLIP·GPT 점수 모두 기존 확산 기반 편집기보다 크게 앞서며, 512×512 해상도 편집을 1.2초에 수행해 2.2배 빠른 효율성을 보인다.

상세 분석

VAREdit은 기존 확산 모델이 전역적인 디노이징 과정에서 편집 영역과 배경이 얽혀 의도치 않은 변형을 일으키는 문제를 근본적으로 회피한다. 자동회귀 모델은 이미지를 이산 토큰 시퀀스로 변환하고, 토큰을 순차적으로 생성함으로써 ‘원인‑결과’ 관계를 명확히 유지한다. 특히 VAREdit은 “다음‑스케일 예측”이라는 새로운 패러다임을 도입한다. 이미지 토크나이저가 생성한 K 단계의 잔차 맵(R₁…R_K)을 코스→파인 순서로 예측하면서, 각 단계마다 이전 단계에서 만든 누적 특징 F_k를 다운샘플링해 다음 단계 입력 eF_k로 변환한다. 이때 소스 이미지 조건을 어떻게 삽입하느냐가 핵심 과제로 부각된다. 전체 스케일을 모두 입력하면 시퀀스 길이가 두 배가 되어 O(n²) 복잡도가 급증하고, 불필요한 중복 정보가 모델을 혼란시킬 수 있다. 반대로 가장 미세 스케일(F_src^K)만을 사용하면 계산량은 크게 줄지만, 코스 스케일 목표를 예측할 때 고주파 디테일만 제공되어 전역 구조를 잡아내기 어렵다. 저자들은 이 “스케일 불일치” 현상을 정량적으로 분석했으며, 첫 번째 셀프‑어텐션 레이어가 전역 레이아웃을 설정하고 이후 레이어가 지역 세부 정보를 다듬는 역할을 한다는 것을 발견했다. 이를 기반으로 설계된 SAR 모듈은 첫 번째 어텐션 레이어에 스케일‑정렬된 소스 특징(F_src^{k})을 삽입하고, 나머지 레이어는 기존의 미세 스케일 조건만 사용한다. 이렇게 하면 초기 레이어가 코스 구조를 충분히 파악하고, 이후 레이어가 미세 디테일을 보강한다. 실험 결과, SAR를 적용한 VAREdit은 동일한 파라미터 규모에서도 기존 전체 스케일 조건 방식보다 CLIP‑Score와 GPT‑Score에서 평균 6~8% 향상을 보였으며, 연산량은 30% 이하로 감소했다. 또한 512×512 해상도 편집을 1.2초에 처리해 UltraEdit 대비 2.2배 빠른 속도를 달성했다. 이러한 효율성은 KV‑Cache와 혼합 병렬화 기법을 활용한 트랜스포머 최적화와 결합돼 실시간 인터랙티브 편집에 적합한 수준이다.