정치적 편향 인식이 LLM 설득력 감소

초록

미국 성인 2,144명을 대상으로 한 사전등록 설문 실험에서, ChatGPT와 3라운드 대화를 앞서 “당신의 정당에 불리하게 편향돼 있다”는 경고를 제시하면 설득 효과가 28% 감소한다는 결과가 도출되었다. 전처리 메시지는 응답자들의 반발과 비협조적 태도를 유발해 대화 참여도를 낮추는 메커니즘으로 작용한다.

상세 분석

본 연구는 LLM(대형 언어 모델)의 설득력이 사용자의 인지적 편향, 특히 정치적 중립성에 대한 인식에 얼마나 민감한지를 실증적으로 검증한다. 실험은 네 가지 조건(무처리, 비방향성 편향 고지, 약한 편향 고지, 강한 편향 고지)으로 무작위 배정했으며, 대화 주제는 경제 정책에 관한 여섯 가지 일반적 오개념 중 하나를 선정했다. 응답자는 사전 설문에서 자신의 오개념에 대한 동의 정도를 0‑4 척도로 평가했으며, 대화 후 동일 척도로 재측정했다. 주요 종속변수는 오개념 동의 점수의 변화이며, 설득 효과는 점수 감소폭으로 정의된다.

통계 분석은 사전 동의 점수와 주제 고정효과를 포함한 OLS 회귀모델을 사용했으며, 비방향성 편향 고지와 비교했을 때 강·약 편향 고지는 각각 -0.86, -0.93의 평균 변화(표준오차 0.06)를 보였다. 이는 무조건적 설득 효과 대비 28%·23% 감소에 해당한다. 효과 크기는 부트스트랩(2,000 반복)으로 95% 신뢰구간을 추정했으며, 모든 파라미터가 통계적으로 유의했다.

이후 전이효과 검증을 위해 파트isanship(공화당·민주당)별, 오개념‑정당 일치 여부, 정서적 양극화 수준 등 다양한 이질성 요인을 추가 분석했지만, 주요 효과는 전반적으로 일관되었다. 특히, 강한 편향 고지는 양당 모두에서 “ChatGPT가 내 정당에 불리하게 편향돼 있다”는 인식을 크게 높였으며, 이는 설득 감소와 직접적인 상관관계를 보였다.

텍스트 분석에서는 LLM‑as‑judge 방식을 적용해 응답자의 반응을 ‘무관심·거부’, ‘반박·논증’, ‘수용’ 세 축으로 코딩했다. 편향 고지를 받은 그룹은 글 길이와 토큰 수가 유의하게 짧았으며, 반박·논증 점수가 상승했다. 이는 사용자가 인지적 휴리스틱(편향 인식)으로 LLM의 주장 전체를 저평가하고, 정체성 방어 메커니즘을 가동한다는 기존 설득 이론과 일치한다.

연구는 또한 “QuitGPT”와 같은 반AI 운동이 실제 사용자 신뢰에 미치는 파급효과를 시사한다. 정책 입안자와 AI 개발자는 모델 투명성·편향 완화 외에도, 사용자에게 제공되는 사전 정보가 설득력에 미치는 부정적 영향을 최소화하는 커뮤니케이션 전략을 설계해야 한다.

한계점으로는 비이성적 설득(감정 호소) 요소를 배제한 비추론형 ChatGPT(버전 4.1) 사용, 단일 국가·문화 표본, 그리고 경제 정책이라는 제한된 주제 영역만을 다룬 점을 들 수 있다. 향후 연구는 다문화·다언어 환경, 추론형 모델, 그리고 장기적 행동 변화(투표 행동 등)까지 확장할 필요가 있다.