멀티모달 LLM으로 보는 오디오·비주얼·스피치 순간 이해

초록

TriSense는 영상의 시각·음향·음성 3가지 모달리티를 동시에 활용해 순간을 인식·설명하는 대형 언어 모델이다. 질의에 따라 각 모달리티의 중요도를 동적으로 재조정하는 Query‑Based Connector와 2 백만 개의 고품질 멀티모달 샘플을 담은 TriSense‑2M 데이터셋을 제안한다. 다양한 모달리티 조합과 누락 상황에서도 강인한 성능을 보이며, 영상 구간 캡셔닝·모멘트 검색 등 8가지 태스크에서 기존 방법들을 크게 앞선다.

상세 분석

TriSense의 핵심 설계는 ‘Query‑Based Connector’이다. 입력 질의의 텍스트 의미를 분석해 시각, 음향, 음성 각각의 토큰 시퀀스에 가중치를 부여하고, 이를 다중 헤드 어텐션에 통합한다. 이 과정에서 질의가 “배경음악”이나 “대화 내용”을 강조하면 해당 모달리티의 가중치가 상승하고, 누락된 모달리티는 자동으로 낮은 가중치를 받아 손실을 최소화한다. 이러한 적응형 가중치 메커니즘은 기존 모델이 모든 모달리티를 동일하게 처리하거나 하나의 통합 토큰으로 압축해 정보 손실을 초래하던 문제를 해결한다.

데이터 측면에서 TriSense‑2M은 기존 데이터셋과 달리(1) 평균 영상 길이가 905초에 달하는 장시간 클립을 포함해 시간적 연속성 학습을 가능하게 하고, (2) 시각·음향·음성 각각에 대한 독립 캡션을 사전 생성한 뒤, 두 개의 특화된 LLM(Generator, Judger)을 이용해 A‑V‑S, A‑V, V‑S 형태의 통합 캡션을 자동 합성한다. Judger는 원본 3가지 캡션과의 의미 일치를 0~5점으로 평가해 3점 이하인 샘플을 필터링함으로써 품질을 보증한다. 결과적으로 2 백만 개의 고품질 멀티모달 라벨이 확보돼, 모달리티 조합이 자유로운 학습과 평가가 가능해졌다.

실험에서는 8가지 모달리티 조합(전부 사용, 2개 조합, 단일 모달리티)과 2가지 핵심 태스크(구간 캡셔닝, 모멘트 검색)를 대상으로 Zero‑Shot 및 Fine‑Tune 설정을 모두 수행했다. 특히 모달리티가 일부 누락된 상황에서 TriSense는 평균 12%18%의 성능 향상을 기록했으며, 완전 멀티모달 조건에서는 기존 최첨단 모델들을 47 포인트 앞선 BLEU, METEOR, R@1 점수를 달성했다. Ablation 연구를 통해 Query‑Based Connector가 없을 경우 성능이 급격히 떨어짐을 확인했으며, 데이터 필터링 단계가 전체 성능에 미치는 긍정적 영향을 정량화했다.

한계점으로는 현재 음성 인식 전처리가 필요하고, 매우 복잡한 배경음(예: 다중 화자·음악·효과음 동시)에서는 가중치 추정이 불안정할 수 있다. 또한, Generator와 Judger를 훈련하기 위해 대규모 GPT‑4‑오류 기반 레퍼런스가 필요해 구축 비용이 높다. 향후 연구에서는 End‑to‑End 음성‑텍스트 변환과 더 정교한 시간‑동기화 어텐션을 도입해 실시간 스트리밍 상황에도 적용 가능하도록 확장할 여지가 있다.