아시아 종교 의견과 LLM 정렬의 격차: 다언어 감사와 교정 방안

초록

본 논문은 GPT‑4o‑Mini, Gemini‑2.5‑Flash, Llama 3.2, Mistral, Gemma 3 등 최신 대형 언어모델(LLM)이 인도·동아·동남아시아 국가들의 종교적 여론을 얼마나 정확히 반영하는지 다언어 설문과 로그확률 기반 정량 지표로 평가한다. 모델은 일반 사회 이슈에서는 평균 수준의 정렬을 보이지만, 소수 종교·소수자 관점에서는 부정적 고정관념을 과대화하고, 현지 언어 프롬프트와 인구통계 프라이밍이 일부 개선하지만 근본적 격차는 남는다. 편향 벤치마크(CrowS‑Pairs, IndiBias, ThaiCLI, KoBBQ)에서도 지속적인 해악이 확인돼 지역 맞춤형 감시와 데이터·학습 단계의 구조적 개입이 필요함을 강조한다.

상세 분석

본 연구는 먼저 Pew Research Center가 수행한 12개 아시아 국가·지역(인도, 스리랑카, 동아시아·동남아시아) 대상 종교·사회 태도 설문을 ‘그라운드 트루스’로 삼아, 각 모델이 동일 질문에 대해 생성한 로그확률(log‑probs) 분포와 실제 여론 분포 사이의 Jensen‑Shannon Divergence(JSD)와 Hellinger Distance를 계산하였다. 이때 영어와 현지 언어(힌디어, 베트남어, 한국어, 일본어 등) 두 가지 프롬프트를 사용해 언어 효과를 교차 검증하였다.

핵심 결과는 다음과 같다.

1. 전반적 정렬: 경제·교육·환경 등 비종교적 이슈에서는 JSD 평균 0.12 ~ 0.18 수준으로 비교적 낮은 차이를 보였으며, 이는 기존 연구와 일치한다.

2. 종교·소수자 편향: ‘무슬림에 대한 신뢰’, ‘힌두교와 카스트 제도’, ‘불교와 국가 정체성’ 등 민감한 질문에서 JSD가 0.35 ~ 0.48까지 급증하고, Hellinger Distance도 유사하게 높았다. 특히 소수 종교(시크교, 조로아스터교, 소수 무슬림 파벌)와 관련된 선택지에서 모델은 부정적 스테레오타입(‘폭력성’, ‘사회적 위협’)을 과도하게 확률화했다.

3. 언어 프라이밍 효과: 현지 언어 프롬프트를 사용하면 전체 JSD가 평균 0.07 정도 감소했지만, 편향이 심한 항목에서는 여전히 0.30 ~ 0.40 수준으로 남아 있었다. 즉, 언어 자체가 일부 편향을 완화하지만 근본 원인(훈련 데이터의 영어‑중심성, 라벨링 편향)은 해결되지 않는다.

4. 인구통계 프라이밍: ‘당신은 30대 남성인가요?’와 같은 인구통계 정보를 사전에 제공하면 특정 그룹(예: 젊은 도시 남성)의 의견 재현도가 약간 상승했지만, 소수 종교·소수자 그룹에 대한 개선 효과는 통계적으로 유의미하지 않았다.

5. 편향 벤치마크와의 연계: CrowS‑Pairs, IndiBias, ThaiCLI, KoBBQ 등 네 가지 지역 특화 벤치마크에서 모델은 부정적 프레이밍을 ‘보다 타당한’ 답변으로 선택할 확률이 62 % ~ 78 %에 달했다. 특히 ‘수니와 시아의 갈등’·‘힌두 카스트 차별’ 문항에서 가장 높은 점수를 기록했으며, 이는 로그‑확률 분석 결과와 일관된다.

6. 방법론적 한계: 설문 질문을 수동 번역한 과정에서 번역가 간 의견 차이가 존재했으며, 일부 질문은 문화적 뉘앙스를 완전히 전달하지 못했다. 또한 로그‑확률을 직접 비교하는 방식은 모델이 ‘무응답’(refusal)이나 ‘중립’ 답변을 선택했을 때 왜곡될 가능성이 있다.

7. 시사점: 단순 프롬프트 변형이나 사전 프라이밍만으로는 구조적 편향을 해소하기 어렵다. 데이터 수준에서 지역·언어별 라벨링을 확대하고, 사전 훈련 단계에서 현지 텍스트를 비중 높게 포함시키는 것이 필요하다. 또한, 정량적 정렬 지표(JSD, Hellinger)와 정성적 검증(전문가 리뷰)을 결합한 지속적 감시 체계가 요구된다.

요약하면, 본 논문은 LLM이 ‘글로벌’ 서비스로 확장되는 과정에서 아시아 지역의 종교·문화적 다양성을 충분히 반영하지 못하고 있음을 실증적으로 보여준다. 언어와 프라이밍이 일부 개선 효과를 보이지만, 근본적인 데이터·모델 설계 차원의 개입 없이는 편향이 지속될 것이라는 경고를 제시한다.