깊이 재구성 분류 네트워크를 이용한 비지도 도메인 적응

본 논문은 시각적 객체 인식을 위한 비지도 도메인 적응 방법으로, Deep Reconstruction‑Classification Network (DRCN)이라는 새로운 딥러닝 모델을 제안한다. 도메인 적응은 학습에 사용되는 소스 데이터와 실제 테스트에 사용되는 타깃 데이터가 서로 다른 분포를 가질 때 발생하는 문제이며, 라벨이 없는 타깃 데이터만을 활용해 두 도메인 간 격차를 줄이는 것이 핵심 과제이다. 기존 방법들은 주로 작은 규모 데이터에 특화되었거나, 사전 학습된 대규모 네트워크에 추가적인 도메인 정규화 손실을 부과하는 방식에 의존했다. 이러한 접근법은 확장성에 한계가 있거나, 라벨이 없는 타깃 데이터의 구조적 정보를 충분히 활용하지 못한다는 단점을 가지고 있었다. DRCN은 이러한 한계를 극복하기 위해 두 개의 파이프라인을 동시에 학습한다. 첫 번째 파이프라인은 전통적인 컨볼루션 신경망(CNN) 구조를 사용해 소스 도메인의 라벨이 있는 이미지에 대해 분류를 수행한다. 두 번째 파이프라인은 컨볼루션 오토인코더를 기반으로 하며, 타깃 도메인의 라벨이 없는 이미지에 대해 입력을 재구성한다. 두 파이프라인은 동일한 인코더(특징 추출기)를 공유하고, 디코더와 분류기만이 각각 별도로 존재한다. 인코더는 입력 이미지의 저차원 표현을 학습하면서, 동시에 분류와 재구성이라는 두 목표를 만족하도록 최적화된다. 손실 함수는 분류 손실 ℓ_c와 재구성 손실 ℓ_r의 가중합으로 정의된다.  L = λ·L_c + (1−λ)·L_r, 0 ≤ λ ≤ 1 여기서 ℓ_c는 소스 데이터에 대한 교차 엔트로피 손실이며, ℓ_r은 타깃 데이터에 대한 평균 제곱 오차 손실이다. λ는 두 손실 간의 중요도를 조절하는 하이퍼파라미터로, 실험에서는 0.5~0.9 사이의 값을 사용해 좋은 성능을 얻었다. 학습은 미니배치 확률적 경사 하강법(SGD) 기반의 RMSprop 옵티마이저와 드롭아웃을 적용해 진행되며, 소스와 타깃 배치를 번갈아 업데이트하는 방식으로 구현된다. 또한, 데이터 증강(translation, rotation, scaling)과 잡음 추가(가우시안, zero‑mask)를 통해 인코더의 일반화 능력을 강화한다. 이론적 분석에서는 DRCN의 목표 함수가 반지도 학습(semi‑supervised learning) 프레임워크와 유사함을 보이며, 특히 타깃 재구성 손실만을 사용해도 인코더가 타깃 데이터의 분포를 효과적으로 모델링한다는 점을 증명한다. 이는 타깃 도메인에서만 재구성 학습을 수행함으로써, 소스와 타깃 간의 차이를 최소화하는 정규화 효과가 발생한다는 의미이다. 실험은 두 부분으로 나뉜다. 첫 번째는 대규모 이미지 벤치마크(MNIST, USPS, SVHN, CIFAR‑10, STL‑10) 간의 교차 도메인 전이이며, 두 번째는 작은 규모의 Office 데이터셋을 이용한 전이이다. 각 실험에서 DRCN은 기존 최첨단 방법인 ReverseGrad, Deep Domain Confusion(DDC), Deep Adaptation Network(DAN) 등을 능가하였다. 특히, MNIST→USPS, SVHN→MNIST 등에서 평균 3~8%의 정확도 향상을 기록했으며, 사전 학습 없이도 높은 성능을 유지했다. 시각적 결과로는 소스 이미지가 재구성 과정을 거치면서 타깃 이미지와 유사한 색채·배경·텍스처를 띠게 변형되는 현상이 관찰되었으며, 이는 인코더가 두 도메인의 공통 표현을 성공적으로 학습했음을 시각적으로 확인시킨다. 결론적으로, DRCN은 (1) 공유 인코더를 통한 특성 통합, (2) 라벨이 있는 소스와 라벨이 없는 타깃을 동시에 활용하는 다중 과제 학습, (3) 손실 가중치를 통한 유연한 트레이드오프 설계라는 세 가지 핵심 요소를 결합함으로써, 기존 방법들의 한계를 극복하고 실용적인 비지도 도메인 적응 솔루션을 제공한다. 모델은 GPU 가속 하에 선형 시간 복잡도로 학습 가능하므로, 대규모 실세계 데이터에 적용하기에 적합하다. 앞으로는 더 복잡한 도메인 간 차이를 다루기 위해 adversarial loss와 결합하거나, 시계열·비디오 데이터에 확장하는 연구가 기대된다.