컴퓨터 비전 분야를 위한 도메인 적응 연구 동향

초록

본 논문은 통계 학습 이론에서 가정하는 동일 분포 가정이 현실에서는 깨지는 경우가 많다는 점에 주목한다. 풍부한 라벨이 존재하는 소스 도메인과 라벨이 부족하거나 전혀 없는 타깃 도메인 사이의 차이를 메우기 위해 도메인 적응 기법들을 활용한다. 특히 컴퓨터 비전 영역에서 이미지 분류, 객체 검출, 세그멘테이션 등 다양한 과제에 적용된 최신 방법들을 체계적으로 정리하고, 각 방법의 원리와 한계, 향후 연구 방향을 제시한다.

상세 분석

도메인 적응은 크게 분포 차이를 정량화하고 최소화하는 방법과, 소스와 타깃 데이터를 동시에 학습시켜 도메인 불변 특성을 추출하는 방법으로 구분할 수 있다. 분포 차이 정량화에는 최대 평균 차이(MMD), 코사인 유사도, 워스테인 거리 등 통계적 거리 측정이 활용되며, 이를 최소화하기 위해 손실 함수에 정규화 항을 추가한다. 이러한 접근은 이론적 근거가 명확하고 구현이 비교적 간단하지만, 고차원 이미지 특징 공간에서는 거리 측정이 불안정해지는 문제가 있다.

최근에는 적대적 학습을 도입한 도메인 적응이 주목받는다. 도메인 판별기를 통해 소스와 타깃 특징을 구분하려는 시도를 역으로 최소화함으로써, 특징 추출기가 두 도메인에 대해 동일한 분포를 만들도록 유도한다. 이때 Gradient Reversal Layer(GRL)와 같은 구조적 트릭을 사용해 end‑to‑end 학습이 가능해진다. 적대적 방법은 복잡한 비선형 변환을 학습할 수 있어 실용적인 성능 향상이 크지만, 학습 불안정성, 모드 붕괴, 판별기와 특징 추출기 간의 균형 조정 등 실험적 난제가 존재한다.

재구성 기반 접근은 이미지‑이미지 변환 네트워크(예: CycleGAN)를 이용해 소스 이미지를 타깃 스타일로 변환하거나, 반대로 타깃 이미지를 소스 스타일로 변환한다. 변환된 이미지에 기존 소스 학습 모델을 그대로 적용함으로써 라벨링 비용을 최소화한다. 이 방식은 시각적 도메인 차이가 큰 경우에 효과적이지만, 변환 과정에서 의미 손실이 발생하거나, 변환된 이미지가 원본 라벨과 정확히 일치하지 않을 위험이 있다.

또한 자기 지도 학습과 메타 학습을 결합한 최신 연구는 타깃 도메인에서 제한된 라벨을 활용해 빠르게 적응하는 메커니즘을 제공한다. 예를 들어, 타깃 데이터에 대한 가짜 라벨을 생성하고 이를 이용해 교차 엔트로피 손실을 최소화하거나, 여러 소스 도메인에서 학습된 메타 파라미터를 타깃에 맞게 미세조정한다. 이러한 방법은 라벨이 전혀 없는 상황에서도 일정 수준의 성능을 확보할 수 있게 해준다.

컴퓨터 비전 분야에 적용된 사례를 살펴보면, 이미지 분류에서는 ResNet 기반 특징 추출기에 도메인 적응 손실을 결합해 ImageNet‑pretrained 모델을 다양한 실세계 데이터셋에 전이한다. 객체 검출에서는 Faster R-CNN의 Region Proposal Network에 적대적 손실을 추가해 소스와 타깃 이미지 간의 배경‑전경 분포 차이를 감소시킨다. 세그멘테이션에서는 픽셀‑레벨 도메인 판별기를 도입해 FCN 또는 DeepLab 구조의 출력이 도메인에 무관하도록 학습한다. 이러한 응용은 모두 도메인 차이가 큰 실제 환경(예: 야간/주간, 날씨 변화, 센서 종류 차이)에서 성능 저하를 크게 완화시킨다.

마지막으로, 현재 도메인 적응 연구는 다음과 같은 한계에 직면한다. 첫째, 다중 소스·다중 타깃 상황에서의 확장성이 부족하다. 둘째, 도메인 차이가 구조적(예: 카메라 시점)일 때는 단순 통계적 거리 최소화만으로는 충분하지 않다. 셋째, 평가 표준이 다양하고 일관되지 않아 연구 간 비교가 어렵다. 향후 연구는 이러한 문제를 해결하기 위해 도메인 불변 그래프 표현, 연속적인 도메인 흐름 모델링, 그리고 도메인 적응과 일반화 사이의 이론적 연결 고리를 강화하는 방향으로 진행될 것으로 예상된다.