저자원 언어를 위한 대형 멀티모달 모델 연구 동향

초록

**
본 설문은 2018‑2025년 사이 발표된 117편의 논문을 분석해, 저자원 언어에 대형 멀티모달 모델(LMM)을 적용하는 다양한 기술을 체계적으로 정리한다. 연구는 시각적 강화, 데이터 생성, 교차‑모달 전이, 융합 전략 등 네 가지 주요 접근법으로 구분하고, 96개 언어에 대한 연구 현황을 언어별·모달별로 시각화한다. 시각 정보가 성능 향상의 핵심 다리 역할을 하지만, 환각 방지와 연산 효율성 등 남은 과제도 다수 존재한다.

**

상세 분석

**
이 설문은 저자원(LR) 언어에 대한 멀티모달 학습이 직면한 네 가지 핵심 문제—데이터 부족, 평가 벤치마크 부재, 높은 연산 비용, 그리고 다형성·문화적 복잡성—를 바탕으로 연구 흐름을 재구성한다. 먼저 **시각적 강화(Visual Enhancement)**는 이미지‑텍스트 쌍을 활용해 텍스트 표현을 보강하는 방식으로, 특히 텍스트가 희박한 언어에서 의미적 힌트를 제공한다. 여기서는 이미지 캡셔닝, 이미지‑텍스트 매칭, 그리고 CLIP‑style 사전학습이 주된 기술이며, 다중언어 이미지‑텍스트 데이터셋(Multi30K‑LR, XLM‑V 등)의 구축이 핵심 과제로 제시된다.

데이터 생성(Data Creation) 파트에서는 합성 이미지·음성 생성, 번역 기반 데이터 증강, 그리고 대규모 멀티모달 파인튜닝을 위한 자동 라벨링 파이프라인이 논의된다. 특히, 저자원 언어의 경우 언어 모델 기반 텍스트 생성과 이미지‑텍스트 변환을 결합한 멀티모달 데이터 증강(MMDA) 기법이 효과적이라는 사례가 다수 보고된다.

**교차‑모달 전이(Cross‑modal Transfer)**에서는 고자원 언어에서 학습된 멀티모달 표현을 저자원 언어에 직접 매핑하거나, 언어 간 어휘·시각 정렬을 통해 전이 학습을 수행한다. 여기서 중요한 것은 **언어‑시각 정렬 어휘 사전(Visual Lexicon)**을 구축해, 동일 개념을 공유하는 이미지가 서로 다른 언어 텍스트와 연결될 때 전이 효율이 크게 상승한다는 점이다. 또한, 어휘‑시각 어텐션(Word‑Image Attention) 메커니즘을 도입해, 언어 특유의 형태소 구조와 이미지 특징을 동시에 고려하는 모델이 제안된다.

**융합 전략(Fusion Strategies)**은 멀티모달 입력을 어떻게 결합하느냐에 따라 크게 조기 융합(Early Fusion), 중간 융합(Mid Fusion), **후기 융합(Late Fusion)**으로 구분된다. 저자원 언어에서는 데이터가 제한적이므로, 파라미터 공유와 경량화된 어텐션 모듈을 활용한 **경량 융합(Lightweight Fusion)**이 연산 효율성을 유지하면서도 성능 저하를 최소화한다는 것이 주요 결론이다.

연구 메타데이터 분석에서는 언어별 연구 불균형이 두드러진다. 힌디어, 아랍어, 벵골어가 각각 31, 23, 21편으로 가장 많이 다루어졌으며, 42개 언어는 단 한 편씩만 존재한다. 이는 제도적 연구 역량, 디지털 자원 가용성, 스크립트 친화성, 지정학적 관심 등 여섯 가지 요인으로 설명된다. 특히, 전략적 가치가 높은 언어는 정부·군사·산업 투자에 의해 급속히 자원이 축적되는 반면, 문화적·생태적 소수언어는 “콜드 스타트” 문제에 봉착한다.

마지막으로 설문은 환각(Hallucination) 문제와 연산 효율성을 주요 미래 과제로 제시한다. 멀티모달 모델이 이미지·텍스트 간 불일치를 학습하면서 생성된 비현실적 내용이 저자원 언어 사용자에게 오해를 일으킬 위험이 있다. 이를 완화하기 위해 멀티모달 검증(Multimodal Verification) 프레임워크와 지식 기반 제약(Knowledge‑Constrained Decoding) 기법이 제안된다. 또한, Mixture‑of‑Experts, Sparse Attention, Quantization 등 경량화 기술을 저자원 환경에 맞게 적용하는 연구가 필요하다.

**