연속 텍스트‑비디오 검색을 위한 구조화된 교차모달 정렬

초록

StructAlign는 연속 텍스트‑비디오 검색(CTVR)에서 발생하는 두 종류의 특징 드리프트—모달 내 드리프트와 모달 간 비협조적 드리프트—를 완화하기 위해 단순체 Equiangular Tight Frame(ETF) 기하학을 활용한다. 텍스트와 비디오 특징을 카테고리 수준 ETF 프로토타입에 정렬하는 교차‑모달 ETF 정렬 손실과, 서로 보완하는 모달을 이용해 교차‑모달 유사도 관계를 보존하는 Cross‑modal Relation Preserving(CRP) 손실을 공동으로 적용해 재학습 시 발생하는 망각을 크게 감소시킨다. 실험 결과, 제안 방법은 기존 지속적 검색 기법들을 지속적으로 능가한다.

상세 분석

StructAlign는 연속 텍스트‑비디오 검색(CTVR)이라는 멀티모달 지속학습 문제를 새로운 시각으로 접근한다. 기존 지속학습 연구는 주로 단일 모달(이미지, 음성 등)에서의 파라미터 정규화, 네트워크 확장, 재현 학습 등을 활용해 망각을 억제했지만, 멀티모달 상황에서는 모달 간 정렬이 깨지는 ‘비협조적 특징 드리프트’가 추가적인 어려움을 만든다. 논문은 이를 해결하기 위해 두 가지 핵심 아이디어를 제시한다. 첫째, 모든 카테고리를 단순체 ETF(Equiangular Tight Frame) 형태로 배치하는 기하학적 사전지식을 도입한다. ETF는 각 프로토타입이 동일한 각도를 유지하며 서로 최대한 멀리 떨어져 있는 구조로, 카테고리 간 구분을 명확히 하면서도 각 카테고리 내부에서는 충분한 변동성을 허용한다. 이를 통해 텍스트와 비디오 양쪽 인코더가 동일한 고정된 좌표계에 매핑되도록 강제한다. 둘째, 이 기하학을 실제 학습 목표에 연결하는 두 개의 손실 함수를 설계한다. 교차‑모달 ETF 정렬 손실(L_E​TF)은 텍스트와 비디오 특징을 각각 해당 카테고리의 ETF 프로토타입에 가깝게 끌어당겨, 양 모달이 동일한 ETF 좌표에 정렬되도록 한다. 이는 기존의 대조학습(contrastive) 방식보다 더 강력한 구조적 제약을 제공한다. 두 번째 손실인 Cross‑modal Relation Preserving(L_CR​P)은 현재 작업에서 얻은 특징 간의 교차‑모달 유사도 관계를 이전 작업에서 저장된 ‘의사 특징(pseudo features)’과 비교해 보존한다. 즉, 텍스트‑비디오 쌍 사이의 관계를 정적인 지도처럼 활용해, 한 모달이 크게 변하더라도 다른 모달이 이를 보완하도록 만든다. 이 과정에서 MoE(모듈형 전문가)와 LoRA(저차원 적응) 모듈을 각각 텍스트와 비디오 인코더에 삽입해 파라미터 효율성을 유지하면서도 새로운 작업에 대한 적응성을 확보한다. 실험에서는 MSR‑VT, ActivityNet 등 여러 벤치마크에서 평균 정밀도(mAP)와 회수율(R@K) 모두 기존 최첨단 방법보다 유의미하게 향상됨을 보였다. 특히, ‘ETF 정렬 정도’를 측정한 실험에서 특징이 실제 단순체 ETF에 가까워지는 것을 확인했으며, 이는 카테고리 간 간격이 유지되고 내부 변동성이 적절히 보존된 결과이다. 한계점으로는 ETF 프로토타입 수가 카테고리 수와 동일해야 하는 제약과, 초기 프로토타입을 어떻게 초기화하느냐에 따라 수렴 속도가 달라질 수 있다는 점을 들 수 있다. 또한, 현재는 텍스트와 비디오 양쪽 모두 CLIP 기반의 사전학습 모델을 사용하고 있어, 다른 백본에 대한 일반화 검증이 부족하다. 전반적으로, 구조화된 기하학을 활용한 교차‑모달 정렬과 관계 보존이라는 두 축을 동시에 공략함으로써 멀티모달 지속학습에서의 망각 문제를 효과적으로 완화한 점이 가장 큰 공헌이라 할 수 있다.