네팔 문화 속 대형 언어 모델 편향, 이중 지표로 밝히다

초록

본 연구는 네팔 사회·문화적 맥락에서 7개의 최신 대형 언어 모델(LLM)을 평가한다. 2,400여 개의 편향·반편향 문장 쌍으로 구성된 Croissant‑준수 데이터셋을 활용해 ‘동의도’와 ‘생성 편향’ 두 지표를 동시에 측정하는 Dual‑Metric Bias Assessment(DMBA)를 제안한다. 실험 결과, 모델들은 명시적 동의도(0.36‑0.43)와 암묵적 생성 편향(0.74‑0.755) 모두에서 유의한 편향을 보였으며, 온도와 top‑p 설정이 편향 표현에 미치는 영향을 정량화하였다. 특히 인종·사회문화 편향이 생성 편향에서 가장 크게 나타났으며, 명시적 동의도와 생성 편향은 상관관계가 낮아 두 지표를 동시에 고려해야 함을 강조한다.

상세 분석

본 논문은 기존 편향 평가가 주로 서구·영어 중심 데이터에 의존하고, 명시적 동의(agreement)와 암묵적 생성(completion) 중 하나만을 측정한다는 한계를 지적한다. 이를 극복하기 위해 저자들은 두 가지 측면을 동시에 포착하는 Dual‑Metric Bias Assessment(DMBA) 프레임워크를 설계했다. 첫 번째 메트릭은 프롬프트에 대한 모델의 ‘동의도’를 측정한다. 즉, 편향적 문장과 반편향적 문장을 제시했을 때 모델이 어느 쪽에 더 높은 확률을 부여하는지를 확률값으로 정량화한다. 두 번째 메트릭은 ‘생성 편향’으로, 동일한 프롬프트에 대해 모델이 자유롭게 이어 쓰는 텍스트가 편향적 패턴을 얼마나 재현하는지를 0‑1 스코어로 평가한다.

데이터셋은 ‘EquiText‑Nepali’라는 이름으로 2,400여 개의 문장 쌍을 포함한다. 각 쌍은 성별, 인종, 사회문화(카스트·종교·지역) 세 가지 대분류와 직업·교육·정치·전통·언어·지역·카스트·종교·사회계층 등 10여 개의 세부 도메인으로 라벨링되었다. 문화 전문가와 네팔·영어 이중언어 annotator 13명이 참여해 라벨 검증을 수행했으며, 전체 라벨 정확도는 92 % 이상, 카테고리별 일치율은 89 %–95 %에 달한다.

실험에 사용된 7개 모델은 GPT‑4o‑mini, Claude‑3‑Sonnet, Claude‑4‑Sonnet, Gemini‑2.0‑Flash, Gemini‑2.0‑Lite, Llama‑3‑70B, Mistral‑Nemo이다. 각 모델에 대해 온도(T) = {0.0, 0.3, 0.7, 1.0}와 top‑p = {0.8, 0.9, 1.0} 조합을 적용해 12가지 디코딩 설정을 탐색했다.

주요 결과는 다음과 같다.

1. 명시적 동의도는 모델마다 0.36‑0.43 사이로, 평균적으로 편향적 문장에 약 40 % 정도 동의한다. 온도와 top‑p가 증가할수록 동의도는 약간 상승했으며, 특히 top‑p = 0.9에서 가장 높은 값을 보였다.
2. 생성 편향은 0.740‑0.755 범위로, 모델이 자유롭게 이어 쓸 때 편향적 연속을 74 % 이상 재현한다. 온도와의 관계는 U‑shape를 나타냈다. T = 0.3에서 최고점(≈0.755)을 기록하고, T = 1.0에서는 약간 감소했다. 이는 중간 수준의 확률적 다양성이 편향을 증폭시키고, 과도한 무작위성은 편향을 다소 완화한다는 의미다.
3. 상관관계 분석 결과, 명시적 동의도와 생성 편향 사이의 피어슨 상관계수는 -0.12 ~ 0.08 수준으로 거의 무관하거나 약히 부정적이었다. 즉, 모델이 편향적 진술에 동의하지 않더라도 생성 단계에서 편향을 재현할 수 있음을 시사한다.
4. 디코딩 민감도에서 top‑p를 0.8→0.9로 올리면 명시적 동의도가 평균 0.03 상승하지만, 생성 편향은 변동이 미미했다. 이는 top‑p가 확률 분포의 꼬리를 포함시키면서 모델이 더 확신 있는(편향적) 선택을 하게 만들지만, 전체적인 생성 흐름에는 큰 영향을 주지 않음을 의미한다.
5. 도메인별 편향에서는 인종·사회문화(카스트·종교) 영역에서 생성 편향이 가장 높았다(≈0.78). 반면 명시적 동의도는 성별·사회문화 영역에서 고르게 나타났으며, 인종 영역에서는 오히려 낮은(≈0.34) 동의도를 보였다. 이는 모델이 인종 관련 진술에 대해 명시적으로는 조심스러워하지만, 무의식적 생성 과정에서는 기존 데이터에 내재된 편향을 그대로 반영한다는 점을 드러낸다.

논문의 의의는 세 가지로 정리할 수 있다. 첫째, 문화·언어적 다양성을 반영한 고품질 Nepali‑centric 데이터셋을 공개함으로써 향후 연구의 기반을 마련했다. 둘째, 명시적·암묵적 편향을 동시에 측정하는 DMBA 프레임워크를 제시해 기존 평가 방법의 한계를 보완했다. 셋째, 디코딩 파라미터가 편향 표현에 미치는 비선형 효과를 실증함으로써 실제 서비스 환경에서 파라미터 튜닝이 편향 완화에 활용될 가능성을 제시했다.

한계점으로는 (1) 데이터가 영어 기반 프롬프트로 구성돼 실제 네팔어 사용 상황과 차이가 있을 수 있다, (2) 7개 모델에 대한 평가이지만 최신 모델(예: GPT‑4o‑full)이나 지역 특화 모델이 포함되지 않아 일반화에 제한이 있다, (3) 편향 측정이 확률값 기반이므로 인간 인지적 해석과의 직접적인 매핑이 어려울 수 있다. 향후 연구에서는 네팔어 원문 프롬프트, 더 다양한 모델군, 그리고 인간 평가와의 연계 연구가 필요하다.