멀티모달 지식 전이로 여는 세계 비디오 인식: PCA 접근법

초록

본 논문은 여는 세계(open‑world) 비디오 인식의 도메인 격차와 복잡한 환경 변동성을 극복하기 위해, 대형 멀티모달 기반 모델들의 외부 지식을 단계별로 추출·통합하는 PCA(Percept‑Chat‑Adapt) 파이프라인을 제안한다. 저해상도·저조도·이상 상황 등 세 가지 벤치마크에서 기존 방법들을 크게 앞선 성능을 기록한다.

상세 분석

PCA는 ‘Percept‑Chat‑Adapt’라는 세 단계로 구성된 일반화 가능한 지식 전이 프레임워크이다. 첫 번째 Percept 단계에서는 저수준 비디오 복원·초해상화 모델(예: RealBasicVSR)과 세그멘테이션 모델(Segment‑Anything) 등을 활용해 원본 영상을 도메인‑갭이 감소된 형태로 전처리한다. 이렇게 강화된 영상은 고수준 비전 백본(예: UniFormer, CLIP‑ViT, CLIP‑3D)으로부터 시각적 특징 F_V와 각 클래스에 대한 신뢰도 S를 추출한다. 두 번째 Chat 단계에서는 두 가지 경로로 텍스트 지식을 획득한다. ① S가 사전 정의된 임계값 σ 이상을 초과하면, 라벨 프롬프트를 LLM(예: ChatGPT)에게 전달해 라벨에 대한 풍부한 설명 T_p를 생성한다. ② S가 σ 미만이면, 비디오‑텍스트 멀티모달 모델(VideoChat)으로부터 캡션 T_c를 얻는다. 이때 임계값 기반 스위치를 도입해 불필요한 LLM 호출을 최소화한다. 세 번째 Adapt 단계에서는 외부 시각·언어·멀티모달 지식을 네트워크에 삽입할 수 있는 플러그‑인 어댑터 모듈을 설계한다. 어댑터는 기존 백본 파라미터를 고정하고, 작은 규모의 학습 가능한 파라미터만 추가함으로써 효율적인 파인‑튜닝을 가능하게 한다. 어댑터는 (1) 시각 어댑터: CLIP‑ViT의 self‑attention에 외부 시각 특징을 주입, (2) 언어 어댑터: LLM에서 생성된 T_p 또는 T_c 를 텍스트 임베딩으로 변환해 멀티헤드 어텐션에 결합, (3) 멀티모달 어댑터: 비디오‑텍스트 교차‑어텐션 레이어에 외부 지식을 삽입한다.

실험은 세 가지 도전적인 오픈‑월드 비디오 데이터셋(TinyVIRAT‑저해상도, ARID‑저조도, QV‑Pipe‑산업 파이프라인 결함)에서 수행되었다. 각 데이터셋마다 Percept 단계에서 적용된 전처리 기법이 도메인 격차를 크게 줄였으며, Chat 단계에서 얻은 라벨 설명·캡션이 미묘한 행동·상황 구분에 기여했다. 어댑터를 삽입한 뒤 전체 파이프라인을 학습한 결과, 기존 SOTA 모델 대비 평균 3.2 %~5.8 %의 정확도 향상을 달성했다.

핵심 인사이트는 (1) 비디오 도메인 격차를 사전에 시각적으로 완화하면, 후속 멀티모달 지식 활용 효율이 급격히 상승한다는 점, (2) 라벨‑프롬프트와 캡션‑기반 텍스트 지식을 상황에 따라 선택적으로 활용함으로써 계산 비용을 절감하면서도 풍부한 의미 정보를 제공한다는 점, (3) 경량 어댑터를 통해 대형 기반 모델의 지식을 손쉽게 전이할 수 있어 다양한 백본에 적용 가능하다는 점이다. 또한, 어댑터 설계가 단순히 파라미터를 추가하는 수준을 넘어, 시각·언어·멀티모달 흐름을 교차 연결함으로써 서로 보완적인 정보를 효과적으로 융합한다는 점이 주목할 만하다.

한계점으로는 (①) Percept 단계에서 선택된 전처리 모델이 데이터셋에 따라 수동으로 튜닝되어야 한다는 점, (②) 임계값 σ 설정이 전체 성능에 민감하게 작용할 수 있어 자동화된 최적화가 필요하다는 점, (③) 어댑터가 백본에 삽입되는 위치와 구조에 따라 성능 변동이 크므로, 보다 일반화된 어댑터 설계가 요구된다. 향후 연구는 자동 메타‑러닝 기반 전처리 선택, 동적 임계값 조정, 그리고 어댑터‑아키텍처 검색을 통해 PCA를 더욱 범용화할 수 있을 것으로 기대한다.