LAION‑400M 인물 중심 라벨링으로 데이터 편향과 모델 전이 분석

초록

본 논문은 LAION‑400M 전체 이미지에 대해 사람 바운딩 박스와 인지된 성별·인종 라벨, 그리고 인물 중심 캡션을 자동으로 생성한다. 2억 7천만 개 이상의 바운딩 박스를 기반으로 데이터 내 성·인종 불균형과 범죄·부정적 내용과의 연관성을 정량화하고, 이러한 통계가 CLIP과 Stable Diffusion의 성별 편향을 60‑70% 설명한다는 실증적 증거를 제시한다.

상세 분석

이 연구는 크게 네 단계의 파이프라인으로 구성된다. 첫째, 최신 객체 탐지 모델인 YOLOv11‑l을 이용해 400 M 이미지에서 사람 영역을 검출하고, 최소 30 픽셀의 변을 갖는 바운딩 박스만을 남겨 2억 7천 만 개 이상의 고품질 박스를 확보한다. 검출 단계에서는 낮은 신뢰도 임계값(0.25)을 적용해 recall을 극대화했으며, 성·인종별 검출 성능 차이가 없음을 별도 실험으로 검증하였다. 둘째, 인지된 성별 라벨링을 위해 세 개의 대형 멀티모달 LLM(Phi‑3.5‑Vision, LLaVA‑1.6, InternVL3)을 활용해 300 만 개 샘플에 ‘male’, ‘female’, ‘mixed’, ‘unclear’ 라벨을 부여하고, 100 k 이미지에서 인간 라벨과 97.2% 정확도로 일치하도록 SigLIP 기반 분류기를 파인튜닝했다. 셋째, 인종·민족 라벨링은 기존 연구에서 정의한 7개 카테고리(Black, East Asian, Hispanic, Middle Eastern, South Asian, Southeast Asian, White)를 사용했으며, 키워드 기반 이미지 추출 후 동일한 3‑LLM 합의를 통해 700 만 개 샘플을 구축하고, 이를 토대로 SigLIP 분류기를 학습해 전체 데이터에 라벨을 확장했다. 넷째, InternVL3‑2B를 이용해 각 인물에 대한 캡션을 자동 생성함으로써 텍스트‑이미지 연관성을 정밀히 파악할 수 있었다. 분석 결과, 남성 및 Black·Middle Eastern 인물은 ‘crime’, ‘weapon’, ‘negative sentiment’와 같은 단어와 높은 공동출현 빈도를 보였으며, SAE(Structured Attribute Extraction) 기법을 통해 이러한 연관성이 특정 시각적 컨텍스트(예: 거리, 감옥)와도 결합됨을 확인했다. 마지막으로, 라벨링된 공동출현 빈도를 독립 변수로, CLIP·Stable Diffusion의 성별 편향 점수를 종속 변수로 하는 선형 회귀를 수행했을 때 결정계수(R²)가 0.60‑0.70에 달해 데이터 편향이 모델 편향을 상당 부분 설명한다는 실증적 증거를 제공한다. 연구는 자동 라벨링 파이프라인의 정확도 검증, 윤리적 라벨링 한계 고지, 그리고 데이터 접근 제한 등 책임 있는 공개 방식을 강조한다.