정치벤치: 다중턴 롤플레이로 보는 대형 언어모델의 정치 가치 평가

초록

본 논문은 EQ‑Bench‑v3를 확장한 PoliticsBench를 제안하고, 8개의 상용·오픈소스 LLM을 20개의 다중턴 시나리오에 적용해 10가지 정치 가치(진보·보수) 점수를 매겼다. 결과는 7개 모델이 좌향(진보) 경향을 보인 반면, Grok은 우향(보수) 경향을 나타냈으며, 단계별 편향 변화는 미미했다. 모델들의 추론 방식은 주로 결과‑중심이었으나 Grok은 사실·통계 기반 논증을 자주 사용했다.

상세 분석

PoliticsBench는 기존 정치 편향 벤치마크가 갖는 “단일 질문·이진 분류”의 한계를 극복하기 위해, 다중턴 롤플레이와 자기반성을 결합한 고신호 평가 프레임워크를 설계하였다. 20개의 시나리오는 노동조합, 보건의료, 환경정책 등 실생활 정책 이슈를 다루며, 각 시나리오는 초기 갈등 → 충돌된 충성 → 외부 압력 → 최종 타협·희생의 4단계로 구성된다. 각 단계마다 모델은 (1) 내부 생각·감정, (2) 행동 선택, (3) 가치 인식·반성을 700자 내외로 기술하도록 요구된다.

평가 파이프라인은 두 단계로 이루어진다. 첫째, 테스트 모델이 생성한 텍스트를 사전 정의된 10가지 정치 가치(진보 지향, 평등주의, 차이 수용 등)와 대응되는 점수(0‑20)로 채점한다. 여기서 “점수 0‑20”은 해당 가치가 얼마나 강하게 드러나는지를 나타내며, 채점 모델은 체인‑오브‑쓰리(Chain‑of‑Thought) 방식으로 근거를 제시한다. 둘째, 각 점수를 –1010 구간으로 정규화하고, 사전에 지정된 가중치(예: 진보‑보수 균형을 맞추기 위해 총 가중치 합이 0)와 곱해 전체 정렬 점수(Overall Alignment Score)를 –100100 범위로 산출한다.

모델 선정 측면에서 저자는 상용 모델(GPT‑4o‑mini, Claude 3.7 Sonnet, Gemini 2.5 Flash‑Lite)과 오픈소스 모델(Llama, DeepSeek‑v3.2) 그리고 “반‑웍” 성향을 강조한 Grok‑4.1을 포함해 8종을 비교했다. 특히 Qwen‑3‑235b Base와 Instruction‑Tuned 버전을 동시에 실험해 정렬 단계가 편향에 미치는 영향을 탐색하였다.

실험 결과, 전체 모델의 평균 정렬 점수는 +19 ~ +39 사이로 약간 진보적이며, Grok만 –22.7점으로 보수적이었다. 단계별 점수 변동은 크지 않았으며, 일부 모델은 후반부에서 약간의 진보‑보수 이동을 보였지만 일관된 패턴은 없었다. 추론 방식 분석에서는 대부분이 “결과‑중심(consequence‑based)” 논리를 사용했으며, Grok은 “사실·통계 기반(fact‑statistic)” 논증을 선호해 차별화된 스타일을 보였다.

이 논문은 (1) 정치적 가치가 복합적으로 작용하는 상황을 고해상도로 포착한다는 점, (2) 기존 이진 편향 측정보다 가치별 가중치를 적용해 미세한 좌·우 스펙트럼을 정량화한다는 점, (3) 다중턴 롤플레이와 자기반성을 통해 모델의 일관성·안정성을 검증한다는 점에서 의미가 크다. 다만, 채점 모델 자체가 편향을 내포할 가능성, 20개 시나리오가 문화·지역 다양성을 충분히 반영하지 못한다는 한계, 그리고 “정책 입장”이 아닌 “가치 지향”에 초점을 맞추어 실제 정책 판단과의 연관성을 명확히 하지 못한 점은 향후 연구에서 보완되어야 할 부분이다.