완전·불완전 멀티모달 학습을 연결하는 순환형 정보 잠재공간 CyIN

초록

CyIN은 토큰‑레벨과 라벨‑레벨 정보 병목(IB) 기법을 순환적으로 적용해, 멀티모달 데이터가 완전하거나 일부가 누락된 상황 모두에서 효율적인 정보 압축과 교차‑모달 번역을 수행한다. 변분 근사를 이용해 잡음은 제거하고, 남은 잠재 표현을 기반으로 누락된 모달리티를 재구성함으로써 하나의 통합 모델로 완전·불완전 학습을 동시에 최적화한다. 4개의 벤치마크 데이터셋에서 기존 방법들을 크게 앞선 성능을 보였다.

상세 분석

CyIN의 핵심은 ‘정보 병목(Information Bottleneck, IB)’을 두 단계, 즉 토큰‑레벨과 라벨‑레벨에서 순환적으로 적용한다는 점이다. 토큰‑레벨 IB는 각 모달리티의 시퀀스 토큰 임베딩을 Gaussian 분포(μ,σ²)로 매핑하고, KL 발산을 최소화하면서 목표 모달리티의 토큰을 재구성하도록 설계된다. 이를 통해 각 토큰이 담고 있는 불필요한 잡음은 억제되고, 모달리티 간 공유 특징이 강조된다. 순환 구조는 모든 모달리티 쌍을 소스‑타깃으로 번갈아 가며 학습함으로써, intra‑modal(동일 모달리티)와 inter‑modal(다른 모달리티) 정보를 동시에 정제한다.

라벨‑레벨 IB는 고수준 의미 정보를 직접 주입한다. 각 모달리티의 잠재 변수 B를 예측기 P와 연결해, 실제 라벨 y와의 로그우도 손실을 최소화한다. 변분 근사와 KL 정규화가 결합돼, 라벨과 강하게 연관된 특징만이 잠재 공간에 남게 된다. 토큰‑레벨과 라벨‑레벨 손실을 가중 평균해 최종 IB 손실 L_tib를 정의함으로써, 저수준 감각 정보와 고수준 의미가 조화롭게 압축된다.

이러한 정제된 잠재 표현 위에 ‘교차‑모달 순환 번역(Cyclic Translation)’을 적용한다. CRA(Residual Autoencoder) 기반 번역기 Γ는 소스 잠재 B_S를 타깃 잠재 B_T로 변환하고, L_rec = ||B_T - Γ(B_S)||² 로 재구성 손실을 최소화한다. 이후 역전파 단계에서 Γ_T→S를 이용해 B_T를 다시 B_S로 복원하고, 순환 일관성 손실 L_cyc = ||B_S - Γ_T→S(Γ_S→T(B_S))||² 를 추가한다. 이 두 손실은 누락된 모달리티를 복원할 때 정보 손실을 최소화하고, 모달리티 간 변환의 안정성을 보장한다.

학습 과정은 (1) 완전 모달리티 입력에 대해 토큰‑레벨·라벨‑레벨 IB 최적화, (2) 누락된 모달리티가 존재할 때 forward‑translation과 reverse‑translation을 동시에 수행하는 순환 학습으로 구성된다. 전체 손실은 L_total = L_task + λ1·L_tib + λ2·L_rec + λ3·L_cyc 로 정의돼, 과제 손실과 정보 압축·재구성 손실이 균형을 이루도록 한다.

실험에서는 4개의 멀티모달 데이터셋(예: VQA, CMU-MOSI, AV-MNIST 등)에서 완전 입력과 다양한 누락 시나리오(단일 모달리티 누락, 다중 모달리티 동시 누락 등)를 테스트했다. CyIN은 기존의 alignment 기반 방법(Contrastive, CCA)과 generation 기반 방법(VAE, GAN)보다 평균 3~5%p 높은 정확도/MAE를 기록했으며, 특히 누락 비율이 50% 이상일 때도 성능 저하가 최소 수준에 머물렀다. Ablation study에서는 토큰‑레벨 IB만 사용하거나 라벨‑레벨 IB만 사용했을 때보다 전체 모델이 월등히 좋은 결과를 보였으며, 순환 번역 없이 단방향 번역만 사용할 경우 복원 품질이 크게 떨어지는 것을 확인했다.

요약하면, CyIN은 정보 병목을 순환적으로 적용해 멀티모달 간 핵심 정보를 압축하고, 정제된 잠재 공간에서 교차‑모달 번역을 수행함으로써 하나의 모델이 완전·불완전 상황을 모두 다룰 수 있게 만든 혁신적인 프레임워크이다.