LLM 행동경제학: 편향과 교정 방안

초록

본 논문은 대형 언어 모델(LLM)이 경제·금융 의사결정에서 인간과 유사한 행동 편향을 보이는지 조사하고, 모델 버전·규모별 차이를 분석한다. 선호 기반 과제에서는 모델이 고도화·대형화될수록 인간적 비합리성을 강화하고, 믿음 기반 과제에서는 오히려 합리적 답변이 증가한다. 간단한 역할 프롬프트(‘합리적 투자자’ 역할)로 편향을 일부 완화할 수 있음을 제시한다.

상세 분석

이 연구는 인지심리학과 실험경제학에서 전통적으로 사용된 편향 측정 문항을 LLM에 적용한 최초의 대규모 실증이다. 네 개의 주요 LLM 패밀리(OpenAI ChatGPT, Anthropic Claude, Google Gemini, Meta Llama)를 각각 최신 버전과 구버전, 그리고 대형·소형 파라미터 모델로 나누어 2차원(버전·규모) 교차 실험을 수행했다. 선호 기반 질문(예: 확률적 선택, 손실 회피)에서는 모델이 진보하거나 파라미터가 늘어날수록 인간이 흔히 보이는 ‘전망 이론’적 비합리성(예: 확률 가중, 과잉 자신감)이 강화되는 패턴이 관찰되었다. 특히 Claude 3 Opus는 6문제 중 4문제에서 인간과 동일한 비합리적 선택을 보였으며, GPT‑4와 Gemini 1.5 Pro도 유사한 경향을 나타냈다. 반면 믿음 기반 질문(예: 자동회귀 과정 예측, 베이즈식 업데이트)에서는 대형 모델이 정답률이 현저히 높았다. Gemini 1.5 Pro는 10문제 전부를 정답으로 맞추는 등, 파라미터 규모가 클수록 통계적 사실을 정확히 추론한다는 점이 확인되었다.

또한 두 개의 실험경제학 과제(Afrouzi et al. 2023, Bose et al. 2022)를 재현했을 때, 소형 고성능 모델(GPT‑4o, Claude 3 Haiku 등)은 인간과 유사한 과잉 지속성 편향을 보였지만, 동일 모델의 대형 버전은 보다 정확한 지속성 추정치를 제공했다. 투자 결정 과제에서는 대형 모델이 시각적 자극(가격 궤적)에 과도하게 의존해 인간과 비슷한 ‘시각적 편향’을 나타냈다.

편향 교정 실험에서는 ‘합리적 투자자’ 역할 프롬프트를 사전 삽입하는 단순한 방법이 가장 효과적이었다. 이 프롬프트는 LLM의 자신감 수준과 추론 유형(A: 직관, B: 분석) 변화를 유도해, 선택을 보다 기대효용 기반으로 전환시켰다. 다만 효과 크기는 경제적으로는 미미했으며, 추가 정보 제공이나 복합 프롬프트는 별다른 개선을 보이지 않았다.

저자들은 두 가지 가설을 제시한다. 첫째, 고도·대형 모델이 선호 질문에서 인간적 비합리성을 보이는 이유는 RLHF(Reinforcement Learning from Human Feedback) 과정이 인간 피드백을 과도하게 내재화하기 때문이라는 점; 둘째, 믿음 질문에서 대형 모델이 합리적 답변을 제공하는 이유는 방대한 학습 데이터와 연산 능력이 통계적 진리를 더 잘 포착하기 때문이라는 점이다. 이러한 가설은 향후 모델 설계와 훈련 전략에 중요한 시사점을 제공한다.