다중 뷰 재질 외관 전이: 소수 샘플 자기 주의 적응 기법

초록

본 연구는 다중 뷰 확산 모델의 한계인 외관(재질, 텍스처, 스타일) 제어 문제를 해결합니다. 단일 입력 이미지의 객체 정체성과 참조 이미지의 외관 정보를 결합해, 시점 일관성을 유지하며 새로운 재질을 적용한 다중 뷰 이미지를 생성하는 경량 적응 기법을 제안합니다. 사전 학습된 모델의 가중치는 고정한 채, 소수의 학습 샘플만으로 자기 주의 계층의 특징을 혼합하는 매개변수만을 최적화하여 효율적으로 외관 전이 능력을 부여합니다.

상세 분석

이 논문이 제안하는 FROMAT 방법의 기술적 핵심은 ‘세 스트림 디노이징 프레임워크’와 ‘학습 가능한 자기 주의 혼합(Attention Mixing)’ 메커니즘에 있습니다. 기존 다중 뷰 확산 모델은 객체의 정체성과 외관이 결합된 채로 생성되어 분리 제어가 어려웠습니다. 이를 해결하기 위해 저자들은 하나의 U-Net 가중치를 공유하지만, 각각 ‘객체 정체성 스트림’, ‘외관 참조 스트림’, ‘주요(타겟) 스트림’이라는 세 개의 병렬 디노이징 과정을 구성합니다. 객체 스트림은 입력 이미지로부터 기하학적 구조를, 참조 스트림은 재질 구체 이미지로부터 외관 특징을 추출합니다.

여기서 혁신적인 접근은 주요 스트림의 생성 과정에 있습니다. 주요 스트림의 각 자기 주의 계층에서, 쿼리(Query)는 자신의 것을 사용하지만, 키(Key)와 값(Value)은 세 스트림의 출력을 선형 결합한 혼합 텐서를 사용합니다. 결합 가중치(α_o, α_r, α_m)는 각 주의 계층별로 소프트맥스를 통해 도출되는 매우 적은 수의 학습 가능 매개변수입니다. 이 방식을 통해 모델은 저수준 계층에서는 참조 스트림의 텍스처 특징을, 고수준 계층에서는 객체 스트림의 구조적 특징을 학습적으로 선택하여 가져올 수 있게 됩니다.

이 방법의 가장 큰 강점은 ‘소수 샘플 학습’과 ‘경량성’에 있습니다. 사전 학습된 대규모 다중 뷰 모델(Era3D, SVC)의 모든 가중치를 동결한 상태에서, 각 자기 주의 계층의 혼합 가중치만을 최적화합니다. 따라서 단일 GPU에서 30분 이내의 적은 학습 데이터(예: 하나의 객체-재질 쌍)로도 외관 전이 능력을 효과적으로 주입할 수 있습니다. 이는 기존의 전체 모델 미세 조정이나 복잡한 어댑터 학습에 비해 매우 효율적입니다. 또한, 학습 시 합성된 3D 객체 렌더링 데이터를 사용하지만, 추론 단계에서는 임의의 2D 이미지 쌍에 대해 일반화가 가능합니다. 이는 명시적인 3D 지오메트리 재구성 없이도 암시적 생성적 3D 표현을 통해 외관을 제어할 수 있는 새로운 패러다임을 제시합니다.