다문화 밈 검출을 위한 비전‑언어 모델의 문화적 강건성 평가

초록

본 논문은 영어·서구 중심으로 학습된 비전‑언어 모델(VLM)이 다문화·다언어 환경에서 혐오 밈을 정확히 탐지하지 못하는 문제를 진단한다. 6개 언어(아랍어, 벵골어, 영어, 독일어, 이탈리아어, 스페인어) 원본 밈 데이터를 활용해 ‘번역‑후‑탐지’ 파이프라인과 ‘원어‑프롬프트·원샷 학습’ 전략을 비교 평가한다. 실험 결과, 번역 과정이 성능을 크게 저하시키는 반면, 원어 프롬프트와 한 샷 학습이 모델의 문화적 강건성을 현저히 향상시킨다. 또한 모든 모델이 서구식 안전 기준에 편향되어 있음을 확인하고, 문화 정렬 전략이 편향 완화에 효과적임을 제시한다.

상세 분석

이 연구는 비전‑언어 모델(VLM)의 문화적 편향을 정량화하기 위해 다차원 평가 프레임워크를 설계했다. 첫 번째 축은 학습 전략으로, 제로샷(zero‑shot)과 원샷(one‑shot) 두 가지를 비교한다. 제로샷은 모델에 작업 정의만 제공하고, 원샷은 각 라벨당 문화적으로 대표적인 예시를 하나씩 제공한다. 두 번째 축은 프롬프트 언어로, 영어 프롬프트와 각 언어의 원어 프롬프트를 교차 실험한다. 세 번째 축은 번역 효과로, 원본 캡션을 Google Translate를 이용해 다른 언어로 번역한 뒤 이미지와 결합해 ‘번역‑후‑탐지’ 시나리오를 만든다.

데이터 측면에서는 기존 영어‑중심 Hateful Memes와 같은 데이터셋이 아니라, 아랍어(Prop2Hate), 벵골어(BHM), 독일어(GerMemeHate), 이탈리아어(DANKMEMES), 스페인어(DIMEMEX) 등 6개 문화권에서 자연스럽게 생성된 밈을 수집했다. 각 데이터셋은 해당 문화의 정치·종교·성별·계층적 갈등을 반영하는 라벨 구조를 유지했으며, 라벨 비율도 크게 다르다(예: 아랍어는 13%만 혐오, 독일어는 58%가 혐오).

모델군은 일반 목적 VLM(Gemini‑2.5‑Flash, GPT‑4o‑Mini, CogVLM2, Qwen 2.5‑VL, InstructBLIP, LLaMA‑4‑Maverick)과 혐오 밈 탐지를 위해 별도 파인튜닝된 전용 모델(Pro‑Cap, PromptHate)으로 나뉜다. 일반 모델은 주로 제로샷으로, 전용 모델은 각 언어별 데이터에 파인튜닝 후 원샷/제로샷 모두 평가한다.

핵심 결과는 다음과 같다. ① ‘번역‑후‑탐지’는 평균 정확도가 715% 포인트 감소했으며, 특히 문화적 은유·이미지 내 텍스트가 번역되지 않아 의미 손실이 크게 발생한다. ② 원어 프롬프트는 영어 프롬프트 대비 평균 F1 점수를 49% 상승시켰으며, 특히 아랍어·벵골어처럼 형태소가 복잡한 언어에서 효과가 두드러졌다. ③ 원샷 학습은 제로샷 대비 5~12%의 성능 향상을 보였으며, 문화적 대표 예시가 모델의 컨텍스트 이해를 크게 돕는다. ④ 모델 규모와 성능은 양의 상관관계를 보였지만, 대형 모델이라도 특정 문화(예: 독일어·이탈리아어)에서는 여전히 낮은 안정성을 보였다. ⑤ 모든 모델이 서구식 안전 기준(예: 인종·성별 차별에 대한 민감도)과 일치하도록 편향돼 있었으며, 원어 프롬프트와 원샷을 결합하면 이러한 편향을 완화하는 데 일정 부분 기여한다.

이러한 분석을 통해 저자는 VLM이 진정한 글로벌 콘텐츠 모더레이션을 수행하려면 데이터·프롬프트·학습 단계에서 문화 정렬이 필수적이며, 단순 번역에 의존하는 현재의 파이프라인은 근본적인 한계가 있음을 강조한다. 또한, 다언어·다문화 벤치마크가 부족한 상황에서, 기존 원본 밈 데이터를 활용한 평가 프레임워크가 향후 연구와 실무 적용에 중요한 기준이 될 수 있음을 제시한다.