진화하는 지식과 맞서는 대형 멀티모달 모델의 도전과 탐구

초록

본 논문은 대형 멀티모달 모델(LMM)이 시간에 따라 진화하는 지식을 효과적으로 습득하고 유지하는 데 어려움을 겪는 문제를 다룹니다. 이를 평가하기 위해 ‘MMEVOKE’라는 멀티모달 진화 지식 벤치마크를 구축하고, 기존 지식 주입 방법들의 성능 한계와 모델의 일반 능력 저하 문제를 실증합니다. 또한, 지식 인식 증강 및 데이터 재학습(Replay), 전문가 혼합(MoE) 기법을 통해 이러한 문제를 완화할 수 있음을 보여줍니다.

상세 분석

본 논문은 정적 텍스트 지식 주입에 집중된 기존 연구를 넘어, 동적 멀티모달 진화 지식 주입이라는 새로운 과제를 체계적으로 조명합니다. 핵심 기여는 ‘MMEVOKE’ 벤치마크의 구축입니다. CNN과 위키백과를 소스로 2024년 이후의 최신 뉴스와 신규 개체 정보를 수집하여, 총 9,422개의 샘플과 159개의 세부 유형으로 구성된 방대한 데이터셋을 만들었습니다. 데이터는 지식 주입용 데이터(D_K: 이미지, 유도 질문, 지식 요약)와 평가용 데이터(D_Q: 이미지, 질문, 정답)로 나뉘어, 모델의 지식 적응력과 보유력을 각각 평가할 수 있도록 설계되었습니다.

실험을 통해 밝혀진 주요 도전 과제는 두 가지입니다. 첫째, 기존 지식 주입 방법(지도 미세조정, 검색 증강 생성, 웹 검색 엔진, 충분한 문맥 제공) 모두 MMEVOKE에서 낮은 적응 성능을 보였습니다. 심지어 필요한 지식을 모두 문맥으로 제공해도 모델의 성능이 완벽하지 않아, LMM의 진화 지식 이해에 근본적인 한계가 있음을 시사합니다. 둘째, 지식 주입 후 모델의 일반 능력을 7가지 차원에서 평가한 결과, 모든 영역에서 심각한 능력 저하(Capability Degradation)가 발생했습니다. 특히, 지시 따르기 능력의 저하는 다른 능력 평가에 연쇄적 실패를 초래하는 주요 원인으로 지목되었습니다.

이러한 도전에 대한 탐구로, 논문은 두 가지 해결 방향을 제시합니다. 첫째, 일반적인 데이터 증강이 아닌 ‘지식 인식 증강’을 통해 지식 주입 성능을 강화할 수 있음을 보였습니다. 둘째, 능력 저하 완화를 위해 파라미터에 간접적 제약을 가하는 방법(EWC, LwF)은 불안정한 반면, 직접적인 지식 재학습(Data Replay)과 모델 파라미터를 구조적으로 분리하는 MoE(Mixture of Experts) 방식이 효과적임을 확인했습니다. 이는 진화 지식 주입이 단순한 정보 추가를 넘어, 지속 학습의 관점에서 접근해야 함을 의미합니다. 본 연구는 LMM이 동적 세계와 상호작용하기 위해 해결해야 할 핵심 과제를 구체화하고, 실험적 근거를 바탕한 유용한 탐구 방향을 제시했다는 점에서 의미가 큽니다.