다국어 LLM의 파키스탄 언어별 정치 편향 심층 평가

초록

본 연구는 우르두, 펀자브어, 신디, 파슈토, 발루치 등 파키스탄 주요 5개 언어에 대해 13개 최신 대형 언어 모델을 평가한다. 문화적으로 재구성한 정치 나침반 테스트와 Boydstun 프레이밍 분류 체계를 결합해 이념적 입장과 서술적 프레이밍을 동시에 측정한다. 결과는 대부분의 모델이 서구 중심의 자유‑진보적 성향을 보이지만, 지역 언어에서는 권위주의적 프레이밍이 강화되는 언어‑조건부 편향을 드러낸다.

상세 분석

이 논문은 다국어 LLM의 정치적 편향을 정량적·정성적으로 동시에 분석하는 복합 프레임워크를 제시한다. 첫 단계는 기존 정치 나침반 테스트(PCT)를 파키스탄 사회·문화에 맞게 62문항을 번역·현지화하고, 11개의 민감 주제를 추가한 것이다. 각 문항에 대해 모델은 “강하게 동의·동의·반대·강하게 반대” 네 가지 레이블 중 하나를 선택하도록 유도하고, 소프트맥스 확률을 가중치(±10, ±5)와 결합해 연속형 스코어를 산출한다. 이후 대칭 임계값 τ를 적용해 0~3 범위의 이산 레이블로 변환함으로써, 언어와 모델 간 비교 가능성을 확보한다. 이 과정에서 다국어 프롬프트 설계가 핵심적인데, “Please present your complete opinion about this statement in the English language.”라는 기본 템플릿에 각 언어별 문장을 삽입해 일관된 출력 형식을 유지한다.

두 번째 단계는 프레이밍 분석이다. 저자는 Boydstun의 15가지 프레임을 기반으로 내용 프레임, 명명된 개체 프레임, 어휘 극성 프레임을 삼중으로 분류한다. 각 주제‑입장 쌍에 대해 1,000개의 헤드라인을 생성하고, bilingual GPT‑3.5‑turbo를 활용해 다중 라벨 프레임 분류를 수행한다. 프레임 비율은 해당 프레임에 속한 헤드라인 수를 전체 헤드라인 수로 나눈 값으로 정의되며, 이는 모델별·언어별 프레이밍 경향을 정량화한다. 명명된 개체 분석에서는 다국어 NER 모델을 사용해 정치인, 국가, 조직 등을 추출하고, 등장 빈도 비율을 통해 특정 행위자에 대한 강조 정도를 측정한다. 어휘 극성은 사전 기반 감성 사전을 각 언어에 맞게 조정해 긍정·부정 어휘 비율을 계산한다.

실험 대상은 13개의 최신 LLM(오픈소스와 클로즈드소스 포함)이며, 모델별·언어별 PCT 점수와 프레이밍 지표를 2차원(경제·사회) 좌표에 투영한다. 결과는 영어와 같은 고자원 언어에서는 전반적으로 자유‑진보적(좌‑좌) 위치를 차지하지만, 우르두·펀자브·신디·파슈토·발루치에서는 사회 축에서 보수적(우) 경향이 강화되고, 특히 권위주의적(통제·안전) 프레임이 두드러진다. 프레이밍 비율 분석에서는 지역 언어 모델이 ‘문화·정체성’과 ‘법·질서’ 프레임을 과도하게 사용하고, ‘경제·복지’ 프레임은 상대적으로 약화되는 패턴이 관찰된다. 또한 특정 모델(예: GPT‑4)에서는 언어별 편향 차이가 최소화되는 반면, 일부 오픈소스 모델은 언어마다 편향 폭이 크게 달라 일관성이 부족함을 보여준다.

이 연구는 두 가지 중요한 시사점을 제공한다. 첫째, 기존 PCT와 같은 서구 중심 도구는 언어별 문화적 의미 차이를 반영하지 못해 오해를 일으킬 수 있다. 따라서 현지화된 번역과 인간 검증 절차가 필수적이다. 둘째, 정치적 편향은 단순한 이념 좌표뿐 아니라 프레이밍 전략에서도 나타나므로, 다층적 분석이 필요하다. 저자는 이러한 복합 프레임워크가 저자원 언어에서의 편향 감지에 유용함을 입증하고, 향후 LLM 개발 단계에서 문화·언어별 공정성을 내재화할 방법론적 토대를 제공한다.