시각적 어휘 의미 구분: 멀티모달 모호성 해소를 위한 최신 동향

초록

본 리뷰는 시각적 어휘 의미 구분(VWSD)의 연구 흐름을 2016‑2025년 사이의 주요 논문을 중심으로 정리한다. 초기 특징·그래프 기반 융합에서 CLIP·디퓨전·LLM을 활용한 대비 학습 및 프롬프트 엔지니어링까지의 발전을 비교하고, 다국어 데이터 부족·문맥 제한·편향 문제 등을 짚는다. 실험 결과는 파인튜닝된 CLIP과 LLM 보강 모델이 제로샷 대비 MRR 6‑8% 향상을 보인다는 점을 강조한다.

상세 분석

본 논문은 VWSD를 전통적 WSD와 구별되는 멀티모달 문제로 정의하고, 연구 흐름을 네 단계로 구분한다. 첫 번째 단계는 2016‑2019년 사이의 특징 기반 접근으로, 이미지에 대해 CNN(VGG, ResNet)에서 추출한 시각적 임베딩과 Word2Vec·GloVe 기반 텍스트 임베딩을 단순 연결(concatenation)하거나 CCA, 어텐션 메커니즘을 통해 공동 잠재 공간에 매핑하였다. 이때 제한된 텍스트 컨텍스트(보통 1~2단어) 때문에 시각적 정보가 핵심 역할을 수행했으며, 성능 향상은 주로 이미지 특징의 정교화에 의존했다.

두 번째 단계는 그래프 기반 방법이다. 후보 이미지와 의미를 노드로, 텍스트·시각적 유사도를 가중치로 하는 그래프를 구축하고, 라벨 전파(label propagation) 혹은 GCN을 이용해 의미 라벨을 확산시켰다. 이러한 구조는 라벨이 부족한 상황에서도 비지도 학습 효과를 발휘했으며, 특히 동사 의미(VVSD)에서 높은 정확도를 기록했다.

세 번째 단계는 CLIP 기반 대비 학습이다. 대규모 이미지‑텍스트 쌍으로 사전 학습된 CLIP은 텍스트와 이미지 사이의 코사인 유사도로 제로샷 VWSD를 수행할 수 있다. 논문은 프롬프트 엔지니어링이 성능에 미치는 영향을 상세히 분석했으며, “A photo of a bat used in sports”와 같은 구체적 프롬프트가 의미 구분을 크게 돕는다는 실험 결과를 제시한다. 또한 파인튜닝 전략으로는 전체 파라미터를 미세조정하는 방식과 경량 어댑터(adapter)를 삽입해 파라미터 효율성을 높이는 두 가지 접근을 비교한다. 파인튜닝된 CLIP은 제로샷 대비 MRR에서 평균 5‑7% 상승을 보였고, BLIP과 결합한 경우 더욱 높은 성능을 달성했다.

네 번째 단계는 대형 언어 모델(LLM) 통합이다. GPT‑3·OPT·InstructGPT 등을 활용해 (1) 의미 정의를 자동 생성(CADG)하고, (2) 짧은 컨텍스트를 풍부한 서술문으로 확장하며, (3) 체인‑오브‑쓰리(Chain‑of‑Thought) 프롬프트로 단계적 추론을 수행한다. 이러한 텍스트 강화는 CLIP의 텍스트 인코더에 더 풍부한 의미 정보를 제공해 이미지‑텍스트 정렬을 개선한다. 실험에서는 LLM 보강 모델이 파인튜닝된 CLIP 대비 MRR 1‑2% 추가 향상을 기록했으며, 특히 저빈도 의미와 다국어(이탈리아어·페르시아어) 상황에서 유의미한 이득을 보였다.

마지막으로 논문은 현재 남아 있는 한계점을 짚는다. 첫째, 컨텍스트가 극히 제한된 경우 시각적 정보만으로는 의미를 정확히 구분하기 어려워 편향된 일반 의미(예: “bank”→금융기관)로 수렴한다. 둘째, 다국어 데이터셋이 부족해 LLM 기반 다국어 확장이 아직 초기 단계이며, 평가 지표도 MRR·HIT@1에 국한돼 실제 응용(이미지 검색·캡션 생성)과의 연계가 미비하다. 셋째, 디퓨전 모델(DALL·E·2·Stable Diffusion)을 활용한 텍스트‑투‑이미지 생성 기반의 역방향 검증이 제안되었지만, 아직 효율성·정확도 측면에서 검증이 부족하다. 향후 연구는 (1) 멀티모달 프롬프트와 LLM을 결합한 컨텍스트 증강, (2) 그래프‑기반 라벨 전파와 대비 학습을 통합한 하이브리드 아키텍처, (3) 다국어 멀티모달 코퍼스 구축 및 평가 프레임워크 확장을 통해 VWSD의 실용성을 크게 높일 수 있을 것으로 전망한다.