교차 코퍼스 감정 인식 향상을 위한 적대적 도메인 일반화

초록

본 논문은 서로 다른 음성 감정 데이터셋 간의 성능 저하 문제를 해결하기 위해 ADDoG와 그 확장형인 MADDoG라는 두 가지 적대적 판별 기반 도메인 일반화 기법을 제안한다. “중간에서 만나기” 전략으로 각 데이터셋의 특성을 점진적으로 일치시켜, 라벨이 없는 목표 도메인에서도 안정적인 수렴과 향상된 인식 정확도를 달성한다.

상세 분석

본 연구는 기존의 적대적 도메인 적응(ADDA, DANN) 방식이 수렴 불안정성과 감정 정보 손실 문제를 안고 있다는 점에 주목한다. ADDoG는 이러한 한계를 극복하기 위해 두 단계의 학습을 동시에 진행한다. 첫 번째 단계에서는 CNN 기반 인코더가 각 코퍼스별 음성 특징을 고차원 표현으로 변환하고, 이 표현을 감정 분류기와 연결한다. 두 번째 단계에서는 워서스틴 거리(Wasserstein distance)를 이용한 비판자(critic)를 추가해, 서로 다른 코퍼스의 표현 분포를 최소화하도록 역전파한다. 비판자는 실제와 가짜(다른 도메인) 샘플을 구분하는 것이 아니라, 두 분포 사이의 지구 이동 거리(Earth‑Mover’s Distance)를 추정함으로써 학습 안정성을 크게 높인다. 이 과정에서 ‘meet‑in‑the‑middle’이라는 명칭이 의미하는 바와 같이, 각 도메인의 특성을 완전히 제거하기보다는 중간 지점을 찾아 공통된 감정 표현을 형성한다.

MADDoG는 ADDoG를 다중 코퍼스 상황에 확장한다. 다중 비판자를 도입해 각 코퍼스 쌍 사이의 분포 차이를 동시에 최소화함으로써, 세 개 이상의 데이터셋을 동시에 학습할 때도 표현의 일관성을 유지한다. 이는 특히 실험 3·4에서 보인 ‘실험실‑실제 환경’ 교차 테스트에서 큰 효과를 발휘한다.

실험 설계는 네 가지 시나리오로 구성된다. ① 라벨이 없는 목표 도메인 데이터를 활용한 전이 학습(전형적인 transductive learning) ② 목표 도메인 라벨을 점진적으로 추가했을 때의 성능 변화 ③ 실험실 데이터로 학습하고 야외(in‑the‑wild) 데이터로 테스트 ④ 그 역방향. 모든 실험에서 ADDoG/MADDoG는 기본 CNN 대비 평균 3~7%p의 정확도 향상을 보였으며, 특히 라벨이 제한된 상황에서 라벨을 두 배 늘린 효과와 동등한 성능 개선을 달성했다. 또한, 반복 실험 시 분산이 감소해 모델의 안정성도 입증되었다.

한계점으로는 비판자 네트워크의 하이퍼파라미터(클리핑 범위, 학습 비율) 설정이 여전히 필요하고, 매우 큰 도메인 간 격차(예: 언어가 다른 데이터)에서는 수렴 속도가 느려질 수 있다. 향후 연구에서는 비판자 구조를 경량화하거나, 메타‑학습을 결합해 자동으로 최적 파라미터를 탐색하는 방안을 제시한다.

요약하면, ADDoG는 “중간에서 만나기”라는 직관적인 접근을 통해 도메인 일반화 문제를 효과적으로 해결하고, MADDoG는 이를 다중 코퍼스 환경에 확장함으로써 실용적인 교차 코퍼스 감정 인식 시스템 구축에 중요한 발판을 제공한다.