[한글 번역 중] Improving Behavioral Alignment in LLM Social Simulations via Context Formation and Navigation

생성 인공지능(AI)과 대형 언어 모델(LLM)은 사회과학 및 기업 연구에서 인간 행동을 연구하는 새로운 가능성을 열고 있습니다. 특히 LLMs를 이용한 실험에서 합성 주체로 인간 의사결정을 시뮬레이션하는 방법이 매우 유망합니다. 이러한 시뮬레이션에서는 LLMs가 합성 참가자로서 역할하여 행동 패턴을 연구하고 개입을 평가할 수 있습니다. 이런 시뮬레이션은 사람들을 모집하는 것에 비해 빠르고 재현 가능하며 저렴한 장점이 있습니다. 무엇보다도, 인간 실험이 비용이 많이 들거나 불편하거나 불가능한 상황에서도 연구를 수행할 수 있는 기회를 제공합니다.

최근에는 시장 조사와 관련 평가 작업에 LLM 사회 시뮬레이션을 적용하는 연구가 진행되고 있으며 자동 실험 및 합성 고객 연구에서 산업의 초기 시도가 이루어지고 있습니다.[^1] LLM 사회 시뮬레이션이 연구 환경에서 실제 응용 분야로 확장됨에 따라, 정확한 행동 일치는 과학적 유효성과 실질적인 배포를 위해 점점 더 중요해집니다. 여기서 행동 일치는 LLM-시뮬레이션 참가자의 결정이 인간 참가자와 얼마나 일치하는지를 의미합니다.

그러나 이 중요성이 있음에도 불구하고, LLM 사회 시뮬레이션이 언제 인간의 행동과 일치하는지에 대한 근본적인 질문들은 아직 대답되지 않았습니다. 심리학과 경제학에서 나오는 초기 증거는 LLM이 신뢰 게임이나 성격 평가와 같은 상대적으로 단순한 설정에서 집단적 인간 반응 패턴을 잘 재현한다는 것을 보여주고 있습니다. 그러나 이러한 성공은 전략적 종속성과 내재적인 믿음 형성이 있는 복잡한 의사결정 환경에서는 무너집니다. 이 환경에서는 참가자들이 타인의 행동을 예측하고 관찰된 행동에 기반하여 믿음을 형성해야 합니다.

이러한 환경에서 LLM은 종종 인간의 결정과 일치하지 않으며, 이미 확립된 실험 결과를 재현하는 LLM 기반 시뮬레이션에서는 일관되지 않은 결과가 나타납니다. 특히 이러한 일치 실패는 인간 실험이 가장 어려운 복잡한 의사결정 환경에서 발생하며, 이는 LLM 사회 시뮬레이션을 사용하는 본래의 동기를 약화시킵니다.

행동 일치를 개선하기 위한 두 가지 주요 접근법이 있습니다. 첫째, 데이터 기반 접근법은 펌티닝이나 캘리브레이션을 통해 인간 데이터를 직접 LLM 사회 시뮬레이션에 포함시킵니다. 모델이 관찰된 인간 선택이나 대규모 행동 데이터로 튜닝되면 시뮬레이션이 크게 개선됩니다. 그러나 펌티닝의 효과는 학습 작업과 목표 응용 프로그램 간의 일치 여부에 크게 의존하며, 다른 의사결정 환경에서는 일반화되지 않을 수 있습니다.

둘째, 프롬프트 기반 접근법은 추가적인 인간 데이터 없이 시뮬레이션 일치를 개선합니다. 널리 사용되는 전략에는 체인 오브 쓰ought(CoT) 추론과 페르소나 조정 등이 있습니다. 이러한 접근법은 개별 실험 재현에서 성능을 향상시키지만, 작업과 모델에 따라 일관되지 않은 효과를 보입니다.

본 논문의 주요 목표는 LLMs가 복잡한 의사결정 환경에서 인간 의사결정을 시뮬레이션할 때 행동 불일치의 원인을 조사하는 것입니다. 이러한 설정에서 SOTA LLMs의 능력이 커지고 있음에도 불구하고 LLM-시뮬레이션 참가자와 인간 행동 사이에 널리 관찰되는 차이를 극복하기 위해 다음 핵심 연구 질문을 제기합니다: 복잡한 의사결정 환경에서 LLM 사회 시뮬레이션의 행동 일치를 체계적으로 진단하고 개선하는 방법은 무엇인가?

이 질문에 답하기 위해 인간 문제 해결을 바탕으로 하는 두 단계 이론적 프레임워크를 제안합니다. 첫 번째 단계 컨텍스트 형성에서는 실험 설계를 명시적으로 지정하여 의사결정 작업 및 그 컨텍스트의 정확한 표현을 만듭니다. 두 번째 단계 컨텍스트 탐색에서는 이 표현 내에서 추론 과정을 안내하여 결정을 내립니다.

이 프레임워크는 세 가지 확립된 실험 연구를 시뮬레이션하여 검증합니다. 이러한 환경은 전략적 종속성과 내재적인 믿음 형성이 다르게 나타납니다. 각 단계가 행동 일치에 어떻게 기여하는지 파악하기 위해 프롬프트가 컨텍스트 형성, 탐색 또는 둘 다를 제공하는 경우를 체계적으로 변화시킵니다.

LLM 의사결정을 위한 이론적 프레임워크

본 논문의 주요 기여물로서 인간과 LLM 사이의 행동 일치를 컨텍스트 형성 및 탐색 단계로 구성된 두 단계 과정으로 개념화하는 이론적 프레임워크를 제안합니다. 이러한 단계를 명시적으로 분리함으로써 우리 프레임워크는 의사결정 환경에 걸친 행동 일치의 이해와 개선을 위한 통합적이고 이론적인 관점을 제공합니다.

이러한 분리는 중요하다는 점을 강조할 수 있습니다. 컨텍스트 탐색은 정확한 컨텍스트 형성에 근거해야만 효과적입니다. 복잡한 의사결정 환경에서는 LLM에게 작업 지시문만 제공하는 것은 작업 표현과 추론 전략이 모두 불명확해집니다. 결과적으로 모델은 사전 훈련 중 학습된 패턴에서 이를 추론해야 하며, 이러한 표현 및 추론 전략은 인간 접근법과 체계적으로 다를 수 있습니다.

우리의 프레임워크의 실증적 검증

우리 프레임워크의 실제 범위를 보여주기 위해 의사결정 환경과 모델 선택이라는 두 가지 차원에서 일반화성을 실증적으로 검증합니다. 의사결정 환경에 따라, 우리는 세 가지 확립된 실험 연구에 이 프레임워크를 적용합니다.

이러한 설정에서는 우리의 결과가 일관된 패턴을 보여줍니다: 복잡한 의사결정 환경에서 행동 일치를 달성하기 위해서는 컨텍스트 형성과 탐색 모두 필요하지만, 단순한 의사결정 환경에서는 컨텍스트 형성이 충분합니다. 이러한 패턴은 모델을 통해 견고하며, 프레임워크가 의사결정 환경 및 모델 선택에 걸친 일반화를 보여줍니다.

문헌 검토

본 연구는 세 가지 연구 스트림과 밀접한 관련이 있습니다: (i) 비즈니스 응용 분야에서의 생성 AI와 LLM, (ii) 실험 및 시뮬레이션에서 인간 참가자를 시뮬레이션하기 위한 LLM 사용, 그리고 (iii) LLM 사회 시뮬레이션에서 일치 문제 및 해결책.

비즈니스 응용 분야에서의 생성 AI와 LLM

생성 AI는 대규모로 텍스트, 코드, 디자인 등 다양한 콘텐츠를 생성할 수 있는 기술을 도입하여 경제적 및 사회적 영향에 대한 연구가 급속히 진행되고 있습니다. 작업 환경에서 LLMs과 그 출력물은 작업 완료 속도를 빠르게 하고, 많은 상황에서는 개인 및 조직 수준의 출력 품질 및 생산성을 개선합니다.

LLM 사회 시뮬레이션

LLMs가 비즈니스와 학계에서 더 널리 사용됨에 따라 연구자들은 이러한 모델이 설문조사와 실험실 실험에서 인간 참가자를 보완하거나 대체할 수 있는지 조사하고 있습니다. 이를 통해 사람들을 모집하는 것이 필요한 판단, 행동, 선택을 LLMs로 생성하여 전통적인 사회과학 및 비즈니스 연구에 대한 대안으로 활용합니다.