LLM의 정치적 편향을 넘어서: 다차원 비교 분석

초록

본 연구는 인격 설정 없이 설문형 프롬프트를 활용해 43개의 대형 언어 모델을 평가한다. 고도로 양극화된 이슈와 비양극화된 이슈 두 축으로 모델의 당파적 방향성과 사회정치적 참여도를 측정하고, 엔트로피 가중 편향 점수와 참여 점수로 정량화한다. 결과는 대부분의 모델이 좌‑중도 혹은 좌파 성향을 보이며, 규모·오픈소스 여부보다 정렬 전략과 개발 국가의 제도적·문화적 맥락이 편향에 큰 영향을 미친다는 점을 제시한다.

상세 분석

이 논문은 기존 연구가 주로 인격(페르소나) 기반 시뮬레이션이나 단일 좌‑우 축을 이용해 LLM의 정치적 편향을 측정한 한계를 지적하고, 실제 사용자와 유사한 상황을 재현하기 위해 ‘페르소나‑프리, 토픽‑스페시픽’ 접근법을 도입했다. 연구진은 미국 선거연구(ANES)와 Pew 조사에서 추출한 9개의 정치 토픽(이민·낙태·대선 등 고양화된 이슈와 기후변화·외교·오정보 등 비양극화 이슈)을 선정하고, 각 토픽당 5개의 설문형 질문을 구성해 총 45개의 프롬프트를 만든다. 43개의 LLM은 미국, 유럽, 중국, 중동 등 네 지역에 걸쳐 다양하게 선택됐으며, 모델 규모(2B~176B 파라미터), 공개 여부, 출시 시기 등 메타데이터를 함께 기록했다.

프롬프트 엔지니어링은 두 단계로 진행되었다. 1단계에서는 질문을 명확히 제시하고, 2단계에서는 모델이 ‘설문에 답한다’는 상황을 강조해 응답 일관성을 높였다. 출력은 텍스트 형태로 수집한 뒤, 사전 정의된 선택지와 비교해 정답(또는 당파적 입장) 비율을 계산했다. 고양화된 이슈에 대해서는 ‘당파적 편향 점수’를 엔트로피 가중 방식으로 산출했는데, 이는 모델이 특정 당(민주당·공화당) 쪽으로 일관되게 응답하는 정도와 그 응답의 확신도를 동시에 반영한다. 비양극화 이슈에 대해서는 ‘사회정치 참여 점수’를 도입해, 모델이 문제의 심각성을 얼마나 강조하고, 사실 정확성을 얼마나 유지하는지를 정량화했다.

두 점수를 기반으로 4개의 행동 클러스터가 도출되었다. (1) 좌‑중도·높은 참여, (2) 좌‑중도·낮은 참여, (3) 중도·높은 참여, (4) 중도·낮은 참여. 대부분의 모델은 클러스터 1 또는 2에 속했으며, 특히 미국·유럽 모델이 좌‑중도 경향을 보였다. 규모가 큰 모델이 반드시 편향이 강하거나 약하다는 일관된 패턴은 발견되지 않았으며, 오픈소스와 클로즈드소스 간에도 차이가 미미했다. 대신, 모델이 채택한 정렬(alignment) 전략—예: 인간 피드백 강화(RLHF) 혹은 정책 기반 필터링—과 해당 국가의 규제·문화적 환경이 편향 방향에 큰 영향을 미치는 것으로 나타났다.

한계점으로는 설문 질문이 미국 중심이라는 점, 엔트로피 가중 점수가 실제 정치적 행동과 1:1 대응되지 않을 수 있다는 점, 그리고 모델 응답의 ‘진정성’(예: 의도적 회피) 여부를 판단하기 어려운 점을 들었다. 향후 연구에서는 다문화·다언어 설문을 확대하고, 실제 사용자 인터랙션 로그와 연계해 편향 측정의 외적 타당성을 검증할 필요가 있다.

전반적으로 이 논문은 LLM의 정치적 편향을 다차원적으로 측정하는 새로운 프레임워크를 제시하고, 모델 개발·배포 단계에서 정렬 전략과 지역적 제도 맥락을 고려해야 함을 실증적으로 보여준다.