동적 가중치를 활용한 멀티모달 감정·성별 인식 종단 모델

초록

본 연구는 정적 가중치 대신 학습 과정에서 자동으로 조정되는 동적 가중치를 이용해 감정과 성별을 동시에 인식하는 멀티모달(end‑to‑end) 모델을 제안한다. 오디오와 비디오를 융합한 네트워크에 두 개의 분류 손실을 동적 가중치로 결합함으로써 전체 손실을 최소화하고, 정적 가중치 대비 더 낮은 음성‑우도 손실과 향상된 일반화 성능을 달성하였다.

상세 분석

이 논문은 멀티태스크 학습에서 가장 핵심적인 문제인 손실 가중치 설정을 정적이 아닌 동적으로 최적화하는 방법을 제시한다. 기존 연구들은 보통 각 태스크에 동일한 가중치를 부여하거나 경험적으로 설정된 고정값을 사용했으며, 이는 태스크 간 난이도 차이나 데이터 불균형을 반영하지 못한다는 한계가 있었다. 저자들은 이를 해결하기 위해 각 미니배치마다 현재 손실값과 그 변화율을 기반으로 가중치를 업데이트하는 메커니즘을 도입하였다. 구체적으로, 전체 손실 L_total = w_e·L_emotion + w_g·L_gender 형태에서 w_e와 w_g를 학습 가능한 파라미터로 두고, 역전파 과정에서 두 손실의 스케일 차이를 자동 보정하도록 설계하였다. 이때 가중치의 합이 1이 되도록 정규화함으로써 안정적인 학습을 보장한다.

모델 아키텍처는 오디오 스트림에 1‑D CNN‑LSTM, 비디오 스트림에 2‑D CNN‑BiLSTM을 각각 적용한 뒤, 중간 레이어에서 특징을 결합(concatenation)하고 공동 표현을 학습한다. 이후 두 개의 분류 헤드가 각각 감정(7‑class)과 성별(2‑class) 예측을 수행한다. 중요한 점은 전체 파이프라인이 단일 엔드‑투‑엔드 구조로 구현돼, 전처리 단계에서 별도의 특성 추출기가 필요 없다는 것이다.

실험에서는 IEMOCAP 데이터셋을 활용해 오디오·비디오 동시 입력 상황과 오디오 단일 입력 상황을 비교하였다. 동적 가중치 모델은 정적 가중치(0.5,0.5)와 비교해 평균 Joint NLL을 4.12% 감소시켰으며, 감정 정확도는 2.3%p, 성별 정확도는 1.8%p 상승했다. 특히 데이터 불균형이 심한 감정 클래스(예: ‘공포’)에서 성능 향상이 두드러졌다. Ablation study를 통해 가중치 업데이트 규칙을 제거하면 성능이 급격히 저하되는 것을 확인했으며, 이는 동적 가중치가 태스크 간 상호 보완성을 효과적으로 활용한다는 증거다.

한계점으로는 가중치 업데이트가 추가적인 연산 오버헤드를 유발한다는 점과, 현재는 두 태스크에만 적용했으므로 다수 태스크(3개 이상) 상황에서의 확장성 검증이 부족하다는 점을 들 수 있다. 또한, 가중치 초기값과 학습률에 민감할 수 있어 하이퍼파라미터 튜닝이 필요하다. 향후 연구에서는 메타러닝 기반 가중치 초기화, 그리고 비정형 데이터(텍스트·생체신호)와의 융합을 탐색할 여지가 있다.