문화경계를 넘는 밈 전환: 비전‑언어 모델 기반 양방향 전이 생성

초록

본 논문은 중국·미국 문화권 사이의 밈을 의도와 유머를 유지하면서 문화적 요소만 교체하는 ‘밈 전환(transcreation)’ 작업을 정의하고, 비전‑언어 모델(VLM)과 이미지 디퓨전 모델을 결합한 3단계 하이브리드 파이프라인을 제안한다. 6,315쌍의 양방향 밈 데이터를 구축하고 인간 평가와 자동 메트릭을 통해 US→중국 전환이 중국→US 전환보다 품질이 높음을 확인한다. 또한 유머 메커니즘, 시각‑텍스트 디자인, 감정 표현 등 전환 성공 요인을 분석하고, 문화적 적합성을 측정할 수 있는 평가 프레임워크를 제시한다.

상세 분석

이 연구는 기존 번역·캡션 작업을 넘어 ‘전환(transcreation)’이라는 개념을 도입함으로써, 밈이라는 복합 멀티모달 콘텐츠가 지니는 문화‑특수적 의미와 유머 메커니즘을 어떻게 보존하고 변형할 수 있는지를 체계적으로 탐구한다. 핵심 기술은 LLaVA‑1.6 기반의 문화 분석·캡션 생성 단계와, FLUX 디퓨전 모델을 활용한 시각 템플릿 생성 단계, 그리고 Pillow를 이용한 최종 텍스트‑이미지 합성 단계로 구성된 3단계 파이프라인이다. LLaVA는 입력 이미지와 원문 텍스트를 동시에 이해하고, 문화적 레퍼런스와 의도를 추출한 뒤 목표 문화에 맞는 텍스트와 시각적 가이드라인을 출력한다. 여기서 ‘문화‑불변 요소(아이러니, 과장, 기본 감정)’와 ‘문화‑특수 요소(팝 문화 아이콘, 관용구, 시각적 상징)’를 명확히 구분함으로써, 전환 과정에서 의미 손실을 최소화한다.

시각 템플릿 생성에서는 FLUX가 제공하는 고품질 프롬프트 일치를 이용해, 목표 문화에 친숙한 배경·인물·표정 등을 자동 합성한다. 예를 들어 미국 밈에 자주 등장하는 유명 연예인 얼굴을 중국 문화에 맞는 동물·상징 이미지로 대체하고, 텍스트 레이아웃도 한자·한글 특성에 맞게 조정한다. 최종 합성 단계에서는 폰트 선택, 텍스트 래핑, 가독성 보강 등을 자동화함으로써, 인간이 직접 디자인할 때 발생할 수 있는 일관성 문제를 완화한다.

데이터 측면에서는 중국의 Xiaohongshu·Weibo와 미국의 Reddit 기반 MemeCap을 각각 수집해, 6,315개의 원본 밈과 그에 대응하는 전환 밈을 구축하였다. 필터링 과정을 통해 정치·폭력·저품질 이미지 등을 제거했으며, 감정 라벨링(기쁨, 분노, 슬픔 등)과 주제 라벨링을 추가해 정량적 분석이 가능하도록 했다.

평가에서는 인간 평가자 3명이 의도 보존, 유머 전달, 문화 적합성, 시각‑텍스트 일관성 4가지 차원을 5점 척도로 평가했으며, 자동 평가는 CLIPScore와 LLM‑기반 평가 프롬프트를 결합한 메트릭을 사용했다. 결과는 US→중국 전환이 평균 0.68(인간)·0.71(자동) 점으로, 중국→US 전환(0.54·0.58)보다 현저히 높았음을 보여준다. 이는 현재 VLM이 서구 중심 데이터에 더 최적화돼 있어 서구→동아시아 전환에서 상대적으로 강점을 보이는 것으로 해석된다.

또한 전환 성공 요인을 세부적으로 분석했을 때, ‘보편적 유머 메커니즘(아이러니, 과장)’은 양쪽 모두 높은 점수를 받았지만, ‘문화‑특수 시각 요소(특정 연예인, 지역적 상징)’와 ‘언어적 말장난’은 방향에 따라 큰 차이를 보였다. 감정 표현 측면에서는 ‘기쁨’과 같은 긍정적 감정이 잘 전달되는 반면, ‘분노·슬픔’ 같은 사회 비판적 감정은 문화적 맥락 차이로 인해 손실이 크게 나타났다.

마지막으로 논문은 전통적인 텍스트‑이미지 정합성 메트릭이 문화 적합성을 포착하지 못한다는 한계를 지적하고, 인간 평가와 LLM‑기반 자동 평가를 결합한 새로운 평가 프레임워크를 제안한다. 이는 향후 멀티모달 생성 모델의 문화적 다양성 평가에 중요한 기준이 될 것으로 기대된다.