조건부 분위수 매칭을 활용한 전이 학습 프레임워크

초록

본 논문은 이질적인 다수의 소스 도메인으로부터 조건부 생성 모델을 학습한 뒤, 목표 도메인에 맞게 합성 응답을 선형 결합하고 조건부 분위수를 매칭함으로써 데이터가 부족한 목표 영역에서 회귀 성능을 향상시키는 새로운 전이 학습 방법(TLCQM)을 제안한다. 이 방법은 공변량 이동이나 라벨 이동과 같은 제한적인 가정을 필요로 하지 않으며, 이론적으로는 증강 데이터 기반 ERM의 과잉 위험이 목표 전용 ERM보다 더 작은 상한을 갖는 것을 증명하고, 실험적으로도 다양한 시뮬레이션 및 실제 데이터에서 기존 방법들을 능가한다.

상세 분석

본 연구는 전이 학습에서 가장 흔히 마주치는 “소스‑타깃 분포 불일치” 문제를, 기존의 공변량 이동(covariate shift)·라벨 이동(label shift) 가정 대신 **조건부 분위수 매칭(conditional quantile matching)**이라는 새로운 정량적 정렬 기법으로 해결한다는 점에서 혁신적이다. 구체적으로, 각 소스 도메인 (k)에 대해 조건부 생성 모델 (g^{(k)}(x,\eta))를 학습하고, 목표 도메인의 공변량 (X^{(0)})에 대해 다수의 합성 응답 ({Y^{(k)}{ij}})를 생성한다. 이후 선형 가중치 (\beta\in\mathbb{R}^{K+1}{+})를 도입해 (\beta^{\top}V_{ij}) (여기서 (V_{ij}=