다중도메인·다중태스크 학습을 위한 통합 시맨틱 디스크립터 프레임워크

초록

본 논문은 태스크와 도메인을 설명하는 메타데이터인 “시맨틱 디스크립터”를 도입해 다중태스크 학습(MTL)과 다중도메인 학습(MDL)을 하나의 신경망 구조로 통합한다. 두 개의 서브네트워크(특징 변환 f와 디스크립터 변환 g)를 내적하여 예측을 수행하며, 기존 여러 MTL/MDL 알고리즘을 특수한 디스크립터 형태로 재해석한다. 또한, 이 프레임워크를 이용해 제로샷 학습(ZSL)과 제로샷 도메인 적응(ZSDA)을 구현해, 훈련 데이터가 전혀 없는 새로운 클래스·도메인에 대한 모델을 디스크립터만으로 생성한다. 실험 결과, 제안 방법이 기존 기법들을 전반적으로 능가함을 보인다.

상세 분석

이 논문은 다중태스크(MTL)와 다중도메인(MDL) 학습을 동일한 문제로 바라보고, 각 태스크·도메인을 설명하는 “시맨틱 디스크립터(z)”를 핵심 변수로 삼는다. 기존 연구들은 보통 태스크·도메인을 단일 카테고리 변수(1‑of‑N 인코딩)로 취급해, 메타데이터가 풍부한 경우 정보 공유에 한계를 보였다. 저자들은 이를 극복하기 위해 두 개의 파라미터 행렬 P와 Q를 학습한다. P는 입력 특징 x를 K 차원 잠재 공간으로 매핑하는 f_P(x), Q는 디스크립터 z를 같은 K 차원 공간으로 매핑하는 g_Q(z)이다. 최종 예측은 두 매핑의 내적 ˆy = f_P(x)·g_Q(z) 로 정의되며, 이는 그림 1에 제시된 두‑측면 신경망 구조와 일치한다.

핵심 아이디어는 “디스크립터”를 자유롭게 설계할 수 있다는 점이다. 예를 들어, 도메인이 카메라 종류와 조명 조건이라는 두 개의 이산 변수로 구성될 경우, 각각을 원-핫 인코딩한 뒤 연결(concatenation)하거나, Kronecker 곱을 이용해 분산 코딩(distributed coding) 형태로 표현한다. 이렇게 하면 동일한 디스크립터가 여러 태스크·도메인에 걸쳐 공유될 수 있어, 파라미터 행렬 Q가 보다 일반화된 형태로 학습된다.

논문은 기존 대표적인 MTL/MDL 알고리즘을 표 1에 정리하고, 각각이 특수한 Z(디스크립터 행렬)와 P, Q의 제약 조건으로 재현될 수 있음을 보인다. 예를 들어, RMTL은 모든 태스크가 공통 파라미터 w₀와 개별 파라미터 v_i 로 구성된 형태이며, 이는 Z가