텍스트 복권 선택, AI가 인간을 예측하다

초록

본 연구는 수치가 아닌 텍스트로 설명된 복권 사이에서 인간이 어떻게 선택하는지 대규모로 탐구했습니다. 다양한 AI 접근법(GPT-4o 미세 조정, 텍스트 임베딩, 행동 이론 통합 등)을 평가한 결과, 행동 이론을 배제한 순수 미세 조정 LLM(GPT-4o)이 가장 정확한 예측 성능을 보였습니다. 이는 수치적 정보와 텍스트 정보가 인간의 의사결정에 근본적으로 다른 영향을 미친다는 점을 시사하며, 기존 행동 경제학 모델의 한계를 드러냈습니다.

상세 분석

이 연구의 기술적 핵심은 텍스트로 묘사된 불확실성 하의 의사결정이라는 새로운 문제 영역에 대해 다양한 컴퓨테이셔널 접근법을 체계적으로 비교 평가했다는 점입니다. 연구팀은 크게 네 가지 방법론을 탐구했습니다: 1) TextualChoices-1K 데이터셋을 이용한 LLM의 직접적인 미세 조정(Finetuning), 2) OpenAI의 텍스트 임베딩 모델을 활용해 옵션 간 의미적 차이를 벡터로 추출한 후 회귀 모델 학습, 3) LLM에 특정 성향(예: BEAST 이론 기반 ‘성격’)을 부여해 가상 실험 대상자로 활용하는 방법, 4) LLM을 이용해 텍스트 설명에서 기존 행동 이론(BEAST)의 핵심 특징값(예: 기대값, 위험 감수 성향)을 추출하는 하이브리드 방식.

가장 주목할 만한 결과는 순수 데이터 기반 접근법인 미세 조정된 GPT-4o가 BEAST 이론을 통합한 모든 하이브리드 모델을 능가했다는 것입니다. 이는 수치적으로 명시된 복권 선택 예측에서는 행동 이론과 머신러닝의 결합(BEAST-GB 등)이 최고 성능을 보인 기존 연구(Plonsky et al., 2024)와 정반대의 결론입니다. 이러한 차이는 문제 표현 방식(수치 vs 텍스트)이 의사결정 과정 자체를 근본적으로 바꿀 수 있음을 시사합니다. 수치적 맥락에서는 기대값 계산 등 명시적 추론이 중요하지만, 텍스트적 맥락에서는 언어의 뉘앙스, 정서적 어조, 개인의 주관적 해석이 훨씬 더 큰 역할을 하기 때문으로 해석됩니다. 또한, LLM이 방대한 사전 학습 데이터를 통해 습득한 언어 패턴과 세계 지식이 텍스트 기반 선택의 미묘한 맥락을 포착하는 데 매우 효과적일 수 있음을 보여줍니다. 이 연구는 의사결정 과학과 AI의 교차점에서, 모델 설계 시 문제의 ‘표현 형식’을 반드시 고려해야 할 새로운 프레임워크의 필요성을 제기합니다.