적은 샘플로도 가능한 비지도 이미지 변환 기술

초록

기존 비지도 이미지-이미지 변환 모델은 많은 학습 데이터가 필요하다는 한계가 있습니다. 본 연구는 FUNIT라는 새로운 프레임워크를 제안하여, 훈련 중 본 적 없는 새로운 객체 클래스에 대해서도 단 몇 장의 예시 이미지만으로도 고품질의 이미지 변환을 가능하게 합니다. 적대적 생성 네트워크(GAN)와 새로운 네트워크 설계를 결합하여 인간의 빠른 일반화 능력을 모방한 이 방법은 여러 벤치마크 데이터셋에서 기존 방법을 크게 능가하는 성능을 입증했습니다.

상세 분석

FUNIT(Few-shot UNsupervised Image-to-image Translation) 프레임워크의 기술적 핵심은 ‘내용’과 ‘클래스’ 정보를 분리하여 처리하는 네트워크 설계에 있습니다. 생성기(G)는 내용 인코더(E_x), 클래스 인코더(E_y), 디코더(F_x)로 구성됩니다.

내용 인코더는 입력 콘텐츠 이미지에서 클래스에 무관한 구조적 정보(예: 포즈, 형태)를 추출하여 공간적 특징 맵(z_x)으로 만듭니다. 클래스 인코더는 K개의 대상 클래스 예시 이미지 각각을 중간 벡터로 매핑한 후, 이들의 평균을 계산하여 최종 클래스 특정 외관 코드(z_y)를 생성합니다. 이 평균화 작업은 적은 샘플에서도 강건한 클래스 표현을 학습하는 데 기여합니다.

디코더의 핵심은 Adaptive Instance Normalization(AdaIN) 레지듀얼 블록입니다. AdaIN은 각 샘플의 활성화를 정규화한 후, z_y로부터 학습된 어파인 변환 파라미터를 통해 스케일과 편향을 적용합니다. 이는 공간적으로 불변(global)한 외관 정보(예: 텍스처, 색상)를 콘텐츠 특징 맵에 주입하는 방식으로, 내용(구조)은 유지하면서 스타일(외관)만을 대상 클래스에 맞게 변환할 수 있게 합니다.

학습 목적 함수는 세 가지 손실로 구성됩니다. 첫째, 조건부 GAN 손실은 변환된 이미지가 대상 클래스의 실제 이미지와 구별되지 않도록 합니다. 둘째, 내용 재구성 손실은 동일한 이미지를 콘텐츠와 클래스 입력으로 사용했을 때 원본을 재구성하도록 유도하여 의미 있는 내용 표현 학습을 촉진합니다. 셋째, 특징 매칭 손실은 생성기 특징이 실제 대상 클래스 이미지들의 특징 통계와 일치하도록 정규화하여 학습 안정성을 높입니다.

이 모델의 핵심 통찰은 ‘다양한 소스 클래스에 대한 변환 작업을 훈련함으로써, 보지 못한 클래스에 대한 일반화된 외관 패턴 추출 능력을 획득한다’는 것입니다. 실험에서 훈련 데이터의 소스 클래스 수가 증가할수록 적은 샘플 변환 성능이 향상되는 것이 확인되었으며, 이는 인간의 시각 경험 축적과 유사한 메커니즘을 시사합니다.