색 개념 이해를 위한 확률적 벤치마크 ColorConceptBench

초록

ColorConceptBench는 1,281개의 암시적 색 개념에 대해 6,369개의 인간 디자이너 색채 주석을 수집해, 확률적 색 분포 기반으로 텍스트‑투‑이미지 모델의 색‑개념 연관 능력을 평가한다. 7개의 최신 T2I 모델을 실험한 결과, 모델들은 구체적 객체 색은 재현하지만 추상적 시각 상태·감정과 같은 암시적 개념에 대한 색 선택이 인간과 크게 차이 나며, 모델 규모 확대나 CFG 가이드 강화와 같은 일반적 개선 방법으로는 한계가 있음을 보여준다.

상세 분석

본 논문은 색‑개념 이해라는 인간 인지의 핵심 요소를 정량화하려는 시도로, 기존 “색 이름‑코드 매칭” 방식의 한계를 명확히 짚고 있다. 먼저, 색을 단일 RGB 값이나 색 이름에 매핑하는 기존 벤치마크는 색이 지니는 다중 의미와 확률적 연관성을 무시한다는 점을 비판한다. 이를 보완하기 위해 저자들은 THINGS 데이터베이스와 COCA 빈도 정보를 결합해 1,281개의 객체‑형용사 조합을 선정하고, 각 조합에 대해 5개의 스케치와 5명의 전문 디자이너가 색칠한 6,369개의 샘플을 확보했다. 이 과정에서 스케치 기반 입력을 사용해 스타일 변동성을 최소화하고, Grounding‑DINO와 SAM을 활용해 정확히 대상 객체 영역을 마스킹함으로써 색 추출의 정밀성을 확보했다.

색 분포는 CIELAB 색공간에서 ΔE2000 기반 클러스터링을 통해 시각적으로 구분되는 모드별로 그룹화하고, 인간이 구분할 수 없는 색 중심은 병합해 최종 확률 분포 P_H(x|c)를 만든다. 이렇게 구축된 인간 기준 분포는 색의 다양성과 강도를 모두 반영한다.

평가 단계에서는 Stable Diffusion XL, SD‑3, SD‑3.5, Flux‑1‑dev, Qwen‑Image, OmniGen2, SAN‑A‑1.5 등 7개의 최신 오픈소스 T2I 모델을 대상으로, 자연·클립아트 두 스타일, 7가지 CFG 스케일, 각 조합당 5개의 샘플을 생성해 동일 파이프라인으로 모델‑생성 색 분포 P_M(x|c)를 추출했다.

정량적 평가지표는 (1) Pearson Correlation Coefficient (PCC)로 인간·모델 분포의 선형 상관성을, (2) Earth Mover’s Distance (EMD)로 색 감각적 차이를, (3) Entropy Difference (ED)로 분포 복잡도 차이를 측정했다. 또한, 가장 확률이 높은 색을 “지배 색”으로 정의해 Dominant Color Accuracy (DCA)라는 이진 정확도 지표도 제시했다.

실험 결과, 객체‑구체적 색(예: 사과‑빨강·초록)에서는 비교적 높은 PCC·EMD·DCA를 보였지만, ‘외로운’, ‘축제 같은’, ‘오염된 물’ 등 추상적·감정적 개념에서는 PCC가 0.2 이하, EMD가 30 이상으로 인간 분포와 큰 격차를 보였다. 특히 CFG 스케일을 1~15까지 확대하거나 모델 파라미터를 1B→10B으로 늘려도 성능 향상이 미미했으며, 일부 경우 오히려 지배 색 정확도가 감소하는 역효과가 관찰됐다. 이는 현재 확산 기반 T2I 모델이 텍스트 임베딩에서 색‑개념의 암시적 연관성을 충분히 학습하지 못하고, 색‑개념 매핑을 주로 객체‑시각적 특징에 의존한다는 근본적 한계를 시사한다.

논문은 이러한 한계를 극복하기 위한 미래 연구 방향으로 (① 대규모 멀티모달 사전학습 시 색‑개념 라벨을 명시적으로 포함, ② 인간 색 분포를 손실 함수에 직접 통합하는 확률적 정규화, ③ 감정·문화·시각 상태와 같은 메타 정보를 텍스트 프롬프트에 구조화해 제공) 등을 제안한다. 전체적으로, 색‑개념 이해를 확률적 관점에서 정량화한 최초의 벤치마크를 제공함으로써, T2I 연구가 단순 시각 일치에서 인간 인지와 감성에 부합하는 의미론적 일치를 목표로 전환할 필요성을 강조한다.