점진적 도메인 적응을 위한 반대 이중 최적 수송 프레임워크

초록

본 논문은 흐름 기반 점진적 도메인 적응(GDA)에서 목표 도메인의 확률밀도 함수를 직접 추정하는 문제를 해결하고자, 엔트로피 정규화된 반대 이중 비균형 최적 수송(E‑SUOT) 프레임워크를 제안한다. 라그랑주 이중화와 반대 이중식으로 흐름을 재구성해 likelihood 추정을 배제하고, 엔트로피 정규화를 통해 불안정한 min‑max 학습을 안정적인 교대 최적화로 전환한다. 이론적 수렴·일반화 분석과 광범위한 실험을 통해 기존 흐름 기반 방법보다 우수한 성능을 입증한다.

상세 분석

본 연구는 점진적 도메인 적응(GDA)에서 중간 도메인을 합성할 때, 기존 흐름 기반 방법이 목표 도메인의 PDF를 추정하고 그 추정값을 기반으로 흐름을 설계한다는 근본적인 한계를 지적한다. PDF 추정은 샘플만으로는 ill‑posed 문제이며, 추정 오차가 흐름을 저밀도 영역으로 끌어들여 최종 적응 성능을 크게 저하시킨다. 이를 극복하기 위해 저자들은 두 가지 핵심 아이디어를 도입한다. 첫째, 흐름 기반 GDA를 라그랑주 듀얼 형태로 재구성하고, 이를 반대 이중(semi‑dual) 최적화 문제로 변환한다. 반대 이중식에서는 소스와 타깃 분포가 기대값 연산으로만 등장하므로, 실제 PDF를 직접 계산할 필요가 없으며 Monte‑Carlo 샘플링만으로 목표 함수를 근사할 수 있다. 둘째, 반대 이중식은 본질적으로 sup‑inf 구조의 적대적 학습을 요구해 불안정성을 야기한다. 이를 해결하기 위해 엔트로피 정규화 항을 primal 문제에 추가하고, 정규화된 primal을 다시 반대 이중식으로 변환한다. 엔트로피 항은 최적 수송 계획의 불확실성을 완화하고, 반대 이중 목적함수의 강한 볼록성을 확보해 최적해의 유일성을 보장한다(정리 3.4).

구체적인 알고리즘은 두 단계로 이루어진다. (1) 잠재 함수 wϕ를 신경망으로 파라미터화하고, 엔트로피‑정규화된 반대 이중식(식 9)을 최소화해 w를 학습한다. 여기서 w는 목표 도메인 샘플과 현재 소스 샘플 사이의 비용을 조정하는 역할을 한다. (2) 학습된 wϕ를 고정한 뒤, 전통적인 2‑Wasserstein 거리와 wϕ의 값을 결합한 손실(식 10)을 최소화해 전송 맵 Tθ를 학습한다. 이렇게 얻어진 Tθ는 소스 샘플을 점진적으로 목표 분포 쪽으로 이동시키며, T 단계마다 새로운 중간 도메인이 생성된다.

이론적으로는 엔트로피 정규화가 반대 이중 문제의 라그랑주 쌍극성(gap)을 감소시켜 수렴 속도를 높이고, 일반화 경계가 기존 비정규화 방법보다 더 견고함을 보인다. 실험에서는 이미지 분류, 텍스트 번역, 추천 시스템 등 다양한 도메인 전이 시나리오에서 기존 흐름 기반 GDA(예: EstTrans)와 비최적 수송 기반 방법(예: DirTrans)보다 낮은 Wasserstein 거리와 높은 최종 정확도를 기록한다. 특히, 목표 도메인의 PDF를 추정하지 않아도 되므로 데이터가 희소하거나 고차원일 때도 안정적인 중간 도메인 생성이 가능하다.

전체적으로 E‑SUOT는 “PDF‑free”, “stable‑training”, “theoretically‑grounded”라는 세 축을 동시에 만족시키는 새로운 GDA 패러다임을 제시한다. 이는 흐름 기반 적응이 갖는 확률 보존 장점은 유지하면서, 기존의 추정‑의존적 약점을 근본적으로 해소한다는 점에서 학술적·실용적 의의가 크다.