InstantRetouch 개인화 이미지 리터칭 무튜닝 프레임워크

초록

**
InstantRetouch은 비대칭 자동인코더와 검색 기반 스타일 결합(RAR) 모듈을 활용해, 테스트 시 별도 파인튜닝 없이도 단일·다중 레퍼런스 이미지에서 사용자의 리터칭 스타일을 즉시 추출·전송한다. 콘텐츠와 스타일을 명확히 분리한 잠재벡터와 색공간 MLP 디코더 덕분에 고품질, 내용‑인식 개인화 리터칭이 가능하며, 포토리얼리스틱 스타일 전이까지 일반화한다.

**

상세 분석

**
본 논문은 개인화 이미지 리터칭 분야에서 “테스트‑타임 파인튜닝 없이 즉시 적용”이라는 목표를 달성하기 위해 두 가지 핵심 기술을 제안한다. 첫 번째는 비대칭(auto‑encoder) 구조이다. 입력‑출력 이미지 쌍을 동시에 처리하는 시암즈(Siamese) 인코더는 SigLIP‑v2 백본에 LoRA 어댑터를 삽입해 파라미터 효율성을 높였으며, 두 브랜치의 피처를 concat 후 2048‑차원 잠재벡터 z 로 압축한다. 이 z는 색·톤 변화를 고수준으로 요약하면서 이미지 내용은 거의 배제한다는 점에서 기존 U‑Net 기반 스타일 인코더와 차별화된다. 두 번째는 조건부 MLP 디코더이다. 디코더는 픽셀‑단위 RGB → RGB 매핑을 수행하며, 각 MLP 블록에 z 를 선형 변환 후 add‑injection 방식으로 주입한다. 색공간에서 연산함으로써 해상도에 독립적이고, 스타일 변환을 명시적으로 제어할 수 있다.

스타일 잠재벡터를 얻은 뒤, Retrieval‑Augmented Retouching (RAR) 모듈이 작동한다. 쿼리 이미지 x_q 의 콘텐츠 임베딩 c_q 를 동일한 SigLIP‑v2(LoRA 비활성)로 추출하고, 레퍼런스 쌍들의 입력 임베딩 c_i 와 코사인 유사도 s_i 를 계산한다. 상위 K (논문에서는 K=3) 를 선택해 소프트맥스 가중치 w_i 로 스타일 벡터 z_i 를 가중 평균해 z_q 를 만든다. 이렇게 얻은 z_q 를 디코더에 입력하면, 쿼리 이미지의 내용에 맞춰 가장 관련성 높은 스타일이 적용된다. 즉, “글로벌 스타일”이 아니라 “콘텐츠‑조건부 스타일”을 제공한다는 점이 큰 강점이다.

학습 데이터는 Adobe Lightroom 커뮤니티에서 수집한 800개의 프리셋을 LAION‑95k 이미지에 적용해 만든 76만 쌍이다. 프리셋 자체가 실제 사용자 스타일을 반영하므로, 모델은 다양한 색·톤 변환을 폭넓게 학습한다. 실험에서는 단일 스타일(VCIRB), 일관된 다중 스타일, 그리고 서로 다른 스타일이 혼재된 복합 시나리오를 모두 평가했으며, StarEnhancer, MSM, VisualCloze, PhotoArtAgent, Seedream4.0, NanoBanana 등 최신 개인화·일반화 리터칭 방법과 비교했다.

주요 결과는 다음과 같다. (1) 테스트‑타임 파인튜닝이 필요 없는 즉시 적용: 레퍼런스 몇 장만 제공하면 바로 스타일 전이가 가능하다. (2) 콘텐츠‑인식 스타일 결합: RAR을 통해 이미지 내용에 따라 가중 평균된 스타일이 적용돼, 과다·과소 노출 등 상황별 맞춤 보정이 자연스럽다. (3) 다중 레퍼런스·혼합 스타일 지원: 서로 다른 프리셋을 섞어도 일관된 결과를 얻으며, 기존 방법이 겪는 스타일 충돌 문제를 완화한다. (4) 포토리얼리스틱 스타일 전이: 레퍼런스가 쌍이 아니라 단일 이미지일 경우에도, 입력을 pseudo‑reference 로 사용해 색·톤 변환을 성공적으로 전달한다.

한계점도 존재한다. 비대칭 인코더는 쌍 기반 학습에 의존하므로, 완전한 비쌍 데이터(예: 단일 원본 이미지만 존재)에서는 직접 학습이 어려울 수 있다. 또한, 스타일 잠재벡터 차원이 2048로 비교적 고차원이라 메모리·연산 비용이 증가하고, K‑값과 온도 τ 에 대한 민감도가 실험에 따라 달라질 가능성이 있다. 마지막으로, 콘텐츠 임베딩이 SigLIP‑v2에 크게 의존하므로, 해당 백본이 다루기 어려운 매우 특수한 장면에서는 검색 정확도가 떨어질 수 있다.

전반적으로 InstantRetouch은 **“스타일‑콘텐츠 분리 → 콘텐츠‑조건부 스타일 결합 → 무튜닝 즉시 적용”**이라는 파이프라인을 제시함으로써, 개인화 이미지 리터칭의 실용성을 크게 높였다. 향후 연구에서는 비쌍 학습, 경량화된 인코더 설계, 그리고 사용자 피드백을 반영한 인터랙티브 스타일 조정 메커니즘을 추가하면 더욱 폭넓은 적용이 기대된다.

**