상대적 일반성으로 문화 특수성을 잰다: 개념적 문화 지수 CCI

초록

대규모 언어 모델(LLM)의 다문화 환경 적용이 확대되면서, 문장 수준의 문화적 특수성을 체계적으로 평가할 방법이 필요해졌다. 본 연구는 ‘개념적 문화 지수(CCI)‘라는 새로운 지표를 제안한다. CCI는 특정 대상 문화 내에서의 문장 일반성 점수와 다른 비교 문화들에서의 평균 일반성 점수의 차이로 정의된다. 이를 통해 문화의 범위를 조절 가능하며, 점수가 기반 일반성 추정치에서 도출되어 해석 가능성이 높다. 400개 문장(문화 특수 200, 일반 200)에 대한 검증 결과, CCI는 문화 특수 문장에 높은 점수, 일반 문장에 낮은 점수를 부여하는 예상 패턴을 보였으며, 대상 문화에 특화된 모델에서 직접적인 LLM 점수보다 AUC 기준 10점 이상 우수한 이진 분리 성능을 보였다.

상세 분석

본 논문이 제안하는 개념적 문화 지수(CCI)는 문화적 특수성 평가의 방법론적 진전을 의미한다. 기존 문화 평가 벤치마크가 QA 형식의 정확도에 의존해 문화 특수성의 연속적 스펙트럼을 포착하지 못했던 점을 해결하고자, 문장 단위의 정량적 점수를 도입했다. 핵심 기술은 두 단계로 구성된다. 첫째, 하나의 LLM 프롬프트에 여러 문화를 동시에 포함시켜 주어진 문장이 각 문화에서 얼마나 ‘일반적인지(commonness)‘에 대한