다중모달 유사성 학습

초록

본 논문은 영상·음성 등 서로 다른 모달리티를 가진 데이터를 인간의 지각적 유사성 판단에 맞추어 하나의 통합된 거리 공간으로 변환하는 새로운 다중 커널 학습 기법을 제안한다. 상대적 비교 형태의 인간 라벨을 이용하고, 그래프 기반 필터링으로 주관성과 불일치를 정제하여 견고한 학습을 가능하게 한다.

상세 요약

본 연구는 멀티모달 데이터의 유사성 측정이라는 근본적인 문제에 접근한다. 기존 방법들은 각 모달리티별 특징을 별도 거리 함수로 정의하고, 이후 단순 가중합을 통해 통합하는 방식을 취했지만, 인간이 실제로 느끼는 ‘유사성’은 복합적인 인지 과정에 의해 결정된다는 점을 간과한다. 이를 해결하기 위해 저자들은 다중 커널 학습(MKL) 프레임워크를 확장하여, 각 모달리티에 대해 여러 개의 커널 변환을 동시에 학습한다. 핵심 아이디어는 ‘상대 비교(relative comparison)’라는 형태의 인간 라벨—예컨대 “이미지 A가 B보다 C와 더 유사하다”—을 활용해 손실 함수를 구성하고, 이 손실을 최소화하도록 커널 가중치를 최적화하는 것이다.

특히, 인간 라벨은 주관적이며 종종 모순되는 경우가 많다. 저자들은 이러한 문제를 그래프 기반 전처리 단계에서 해결한다. 라벨을 정점으로, 비교 관계를 간선으로 하는 그래프를 구성한 뒤, 그래프 이론적 방법(예: 최소 스패닝 트리, 커뮤니티 검출)을 적용해 일관성 없는 엣지를 제거하고, 핵심적인 비교만을 남긴다. 이 과정은 학습 데이터의 노이즈를 크게 감소시켜, 최적화 과정이 보다 안정적으로 수렴하도록 돕는다.

수학적으로는, 각 모달리티 (m)에 대해 (K^{(m)}_i) 라는 기본 커널 집합을 정의하고, 변환 파라미터 (\theta^{(m)}_i)를 통해 가중합 (K^{(m)} = \sum_i \theta^{(m)}i K^{(m)}i) 를 만든다. 이후 모든 모달리티의 커널을 또다시 가중합하여 최종 통합 커널 (K = \sum_m \beta_m K^{(m)}) 를 얻는다. 여기서 (\theta)와 (\beta)는 모두 비음수 제약과 정규화 제약을 갖는 최적화 변수이며, 상대 비교 손실은 트리플렛 손실 형태 (\max(0, d{ab} - d{ac} + \Delta)) 로 정의된다. 최적화는 교번 경사 하강법(Alternating Gradient Descent)으로 수행되며, 각 단계마다 그래프 필터링으로 정제된 라벨 집합을 사용한다.

실험에서는 이미지·텍스트·오디오 등 세 가지 멀티모달 데이터셋에 대해 기존 단일 커널, 전통적 MKL, 딥러닝 기반 임베딩과 비교하였다. 제안 방법은 특히 인간 주관 평가와의 상관관계가 높은 점수(Rank Correlation)와 정확도(Recall@K)에서 현저히 우수한 결과를 보였다. 이는 커널 변환을 통한 비선형 관계 모델링과 그래프 기반 라벨 정제가 결합될 때, 인간 지각에 근접한 유사성 공간을 효과적으로 학습할 수 있음을 증명한다.

이 논문의 주요 기여는 (1) 상대 비교 라벨을 직접 활용하는 새로운 MKL 목표 함수, (2) 라벨의 주관성과 불일치를 그래프 이론적으로 정제하는 전처리 기법, (3) 다중 커널 변환을 통해 각 모달리티의 비선형 특성을 포괄적으로 모델링한 점이다. 향후 연구에서는 이 프레임워크를 대규모 온라인 시스템에 적용하거나, 비지도 사전학습과 결합해 라벨이 거의 없는 상황에서도 강건한 멀티모달 유사성 학습을 가능하게 할 수 있을 것으로 기대된다.