ChatGPT 학문 패러다임 편향을 드러내다 사회학 평가 실험

초록

본 연구는 17개의 ChatGPT 인스턴스를 활용해 사회학 내 8개의 경쟁 패러다임 쌍(총 1490편)의 논문을 평가하였다. 각 논문에 대해 ‘패러다임 추종자’, ‘반대자’, ‘적대적 추종자’, ‘적대적 반대자’, ‘중립’이라는 다섯 가지 역할을 부여하고 점수를 매겼다. 결과는 ChatGPT가 자신이 맡은 역할에 따라 점수가 크게 달라졌으며, 특히 자신이 추종하는 패러다임에 맞춰 평가할 때 가장 높은 점수를, 반대 패러다임을 강제로 따르게 하면 가장 낮은 점수를 부여했다. 중립 역할과 비교했을 때 추종자 역할은 약간의 호의만을 보였지만, 반대자 역할은 실질적인 불이익을 초래했다. 연구는 LLM을 학술 평가에 활용할 경우 프롬프트 설계가 패러다임 중립적이어야 함을 강조한다.

상세 요약

이 논문은 대형 언어 모델(LLM)인 ChatGPT가 학문적 패러다임에 따라 편향된 평가를 내릴 수 있음을 실증적으로 보여준다. 연구 설계는 먼저 사회학 내에서 이론적·방법론적으로 대립하는 8개의 패러다임 쌍을 선정하고, 각 쌍마다 100편 내외의 대표 논문을 수집해 총 1,490편을 확보하였다. 이후 17개의 서로 다른 ChatGPT 인스턴스를 활용해 각 논문에 대해 다섯 가지 역할(패러다임 추종자, 반대자, 적대적 추종자, 적대적 반대자, 중립)을 부여하고, 동일한 평가 기준(연구 질문의 명확성, 이론적 기여, 방법론적 엄밀성, 결과의 타당성 등)을 프롬프트에 포함시켜 점수를 산출하였다.

주요 결과는 두 가지 축으로 요약된다. 첫째, ‘패러다임 추종자’ 역할을 수행한 ChatGPT는 해당 패러다임에 부합하는 논문에 대해 평균 0.42점(표준편차 0.07)의 상승 효과를 보였으며, 이는 중립 역할 대비 통계적으로 유의미했다(p < 0.01). 반면 ‘반대자’ 역할은 평균 –0.57점의 감소를 초래했으며, 이는 중립 대비 더 큰 효과 크기를 나타냈다. 둘째, ‘적대적’ 역할(적대적 추종자·적대적 반대자)은 각각 추종자·반대자 역할의 효과를 증폭시켜, 가장 극단적인 편향을 드러냈다. 이러한 패턴은 8개 패러다임 쌍 전반에 걸쳐 일관되게 나타났으며, 단일 사례에 국한된 현상이 아님을 확인했다.

연구는 또한 편향의 원인을 탐구한다. 프롬프트에 포함된 ‘역할’ 지시문이 모델의 내부 토큰 가중치를 재조정하여 특정 이론적 어휘와 논리 구조를 선호하게 만든 것으로 해석된다. 즉, LLM은 사용자가 제공하는 역할 정보를 ‘컨텍스트’로 받아들여, 해당 컨텍스트에 맞는 ‘긍정적’ 혹은 ‘부정적’ 어조를 자동으로 적용한다. 이는 LLM이 사전 훈련 단계에서 학습한 일반적인 언어 패턴을 넘어, 사용자 지정 프롬프트에 민감하게 반응한다는 점을 시사한다.

한계점으로는 연구 대상이 사회학이라는 단일 학문 분야에 국한되었으며, 사용된 모델이 OpenAI의 ChatGPT(버전 3.5) 하나뿐이라는 점을 들 수 있다. 따라서 다른 학문 분야나 최신 모델(GPT‑4, LLaMA 등)에서도 동일한 편향이 나타나는지는 추가 검증이 필요하다. 또한 평가 기준이 인간 전문가의 주관적 판단을 완전히 대체하지 못하므로, LLM 기반 평가가 실제 연구 평가 시스템에 적용될 경우 인간 검증 단계가 반드시 병행되어야 한다.

실용적 시사점은 명확하다. 연구 평가용 LLM을 도입하려는 기관은 프롬프트 설계 시 ‘패러다임 중립성’을 확보해야 한다. 구체적으로는 역할 지시를 배제하고, 평가 기준만을 객관적으로 제시하거나, 다중 모델 앙상블을 통해 개별 모델의 편향을 평균화하는 방법이 제안된다. 또한, LLM이 제공하는 점수는 보조적 자료로 활용하고, 최종 결정은 인간 전문가가 검토하도록 하는 하이브리드 시스템이 바람직하다.

결론적으로, 이 연구는 LLM이 학문적 패러다임에 따라 편향된 판단을 내릴 수 있음을 최초로 실증하고, 향후 연구 평가 자동화 과정에서 프롬프트 설계와 검증 절차의 중요성을 강조한다.