LLM이 여론을 추적할 수 있을까 2024 대선 편향 분석

초록

본 연구는 2024년 미국 대선 기간 동안 여러 대형 언어모델(LLM)의 후보자 호감도 예측을 일일 단위로 수집하고, 이를 Reuters, CNN, Gallup, Quinnipiac, ABC 등 5개의 고품질 여론조사와 비교했다. 결과는 카말라 해리스를 과대예측(10‑40%p), 도널드 트럼프는 비교적 작은 편향(5‑10%p) 보였으며, 모델 간 변동성도 후보자별로 차이가 있었다. 인터넷 검색을 활용한 증강 모델조차 편향을 해소하지 못했으며, 단순 프롬프트 방식으로는 LLM이 기존 여론조사를 대체하기 어렵다는 결론을 내렸다.

상세 분석

이 논문은 LLM이 실제 여론을 반영하는지 검증하기 위해 9가지 LLM 구성(오프라인 GPT, Claude, Gemini 등과 인터넷‑증강 버전)을 선정하고, 2024년 대선 시즌 전체를 아우르는 일일 질의‑응답 데이터를 구축했다. 질의는 “