이미지는 어디서 왔나 — 캡션 기반 지리 프로파일링으로 본 데이터 편향

초록

본 연구는 대규모 비전‑언어 데이터셋의 이미지‑캡션 쌍을 LLM으로부터 위치 정보를 추출해 국가별로 매핑한다. 영어 캡션 3개 데이터셋( Re‑LAION2B‑en, DataComp1B, CC12M )을 20개 시각적 엔티티에 대해 분석한 결과, 미국·영국·캐나다가 전체의 48 %를 차지하고 남미·아프리카는 각각 1.8 %·3.8 %에 불과함을 발견했다. 국가별 이미지 수는 명목 GDP와 ρ=0.82의 높은 상관관계를 보였으며, 언어별 서브셋에서도 해당 언어가 주로 사용되는 국가가 과다 대표되는 현상이 나타났다. 또한 높은 대표성이 시각·의미 다양성으로 직결되지 않으며, Stable Diffusion v1.3이 Re‑LAION으로 학습된 경우 생성된 이미지가 실제 데이터에 비해 지리적 커버리지가 크게 제한됨을 확인했다.

상세 분석

이 논문은 “캡션에 내재된 지리 정보”라는 관점을 통해 기존 이미지‑메타데이터 기반 지리 추정의 한계를 극복하고자 한다. 저자들은 먼저 20개의 보편적 엔티티(예: house, flag)를 선정하고, 각 엔티티가 포함된 이미지‑캡션 쌍을 무작위 추출한다. 여기서 핵심은 캡션에서 위치명을 정확히 식별하고, 다중 의미(예: “Buffalo”가 동물인지 도시인지)와 국가 간 동명어(예: “Cambridge”)를 구분하는 것이다. 이를 위해 사전학습된 대형 언어 모델(LLM)을 활용한 3단계 파이프라인—extract‑retrieve‑predict—을 설계했다. 먼저 LLM이 캡션에서 위치명을 추출하고, GeoNames 데이터베이스에서 상위 k개의 후보를 검색한다. 이후 후보 리스트와 해당 국가명을 프롬프트에 추가해 최종 국가를 예측한다. 이 방식은 순수 문자열 매칭이나 전통 NER 기반 방법보다 정밀도·재현율 모두에서 크게 우수했으며, 특히 Gemini‑2.5‑Flash 모델이 0.98 / 0.95의 F1 점수를 기록했다.

데이터셋 측면에서는 Re‑LAION2B‑en, DataComp1B, CC12M을 대상으로 20개 엔티티에 대해 국가별 빈도를 집계했다. 결과는 미국·영국·캐나다가 전체 샘플의 절반 가까이를 차지하고, 12개의 상위 15개 국가가 세 데이터셋 전부에 걸쳐 일관되게 나타나는 ‘극단적 편중’ 현상을 보여준다. 국가별 이미지 수와 명목 GDP 사이의 ρ=0.82 상관관계는 경제적 자원이 데이터 수집·크롤링에 직접적인 영향을 미친다는 가설을 뒷받침한다. 남미·아프리카 국가들은 각각 1.8 %·3.8 %에 불과해 실질적인 지리적 다양성이 결여돼 있음을 확인했다.

다국어 분석에서는 Re‑LAION의 스페인어, 힌디어, 그리스어, 일본어 서브셋을 조사했으며, 각 언어가 주로 사용되는 지역 국가가 과다 대표되는 경향을 발견했다. 예를 들어 스페인어 캡션에서는 남미 국가가 26.4 %를 차지했지만, 영어 캡션에서는 1.8 %에 불과했다. 이는 언어 기반 데이터 수집이 지리적 편향을 강화한다는 점을 시사한다.

시각·의미 다양성 측정에서는 국가별 이미지 수와 다양성 지표(시각적 클러스터 수, 텍스트 토픽 다양성) 사이의 상관관계가 중간 수준에 머물렀다(ρ≈0.45). 즉, 많이 수집된 국가가 반드시 풍부한 시각·의미 변이를 제공하지는 않는다. 마지막으로 Stable Diffusion v1.3을 Re‑LAION으로 학습시킨 후, 각 국가별 프롬프트(예: “a house in Kenya”)에 대해 생성된 이미지를 평가했다. 인간 평가와 CLIP 기반 유사도 측정 모두에서 생성된 이미지가 실제 데이터에 비해 지리적 커버리지가 현저히 낮으며, 특히 저소득 국가에서 품질 저하가 두드러졌다. 이는 훈련 데이터의 편향이 모델의 생성 능력에 직접적인 제약을 가한다는 중요한 교훈을 제공한다.

전반적으로 이 연구는 (1) LLM 기반 캡션 지리 추출이 기존 방법보다 뛰어나며, (2) 현재 대규모 비전‑언어 데이터셋이 경제·언어적 요인에 의해 심각히 편중돼 있음을, (3) 대표성 높은 국가가 반드시 다양성을 보장하지 않으며, (4) 이러한 편향이 텍스트‑투‑이미지 모델의 지리적 생성 능력에 부정적 영향을 미친다는 점을 실증적으로 입증한다. 향후 데이터 수집 단계에서 국가·언어 균형을 의도적으로 설계하고, LLM 기반 자동 지리 라벨링을 활용한 정량적 모니터링이 필요하다.