배경

대형 언어 모델(LLMs)은 지난 몇 년 동안 급속히 발전하여 방대한 양의 데이터를 학습하고, 수십억 개의 파라미터로 확장함으로써 다양한 작업에서 인간과 비교 가능한 성능을 달성했습니다. 이러한 모델들은 일반적인 언어 이해와 생성 능력을 보여줍니다. 최근 조사에 따르면 LLMs는 복잡한 시나리오에서 추론, 계획, 그리고 의사결정을 수행할 수 있습니다. 이로 인해 자율 에이전트로서 활용되게 되었습니다. 실제로 LLMs는 검색 보강, 사고 체인 프롬프팅, 미세 조정 등의 기술과 함께 사용되어 능력을 향상시킵니다. 그럼에도 불구하고 그들의 채택과 성능적인 능력이 증가함에 따라 여전히 제한점이 있습니다: 일관성 없는 결과나 편향된 출력을 생성하거나 환영 현상을 겪는 문제 등입니다. LLM 연구는 크게 발전했지만, 평가는 아직 진행 중인 상태에서 LLMs는 지능형 시스템을 구축하는 데 있어서 뛰어난 구성 요소를 제공합니다.

다중 에이전트 시스템

LLMs은 여러 에이전트가 상호작용하고 협력하거나 경쟁하며 사회를 시뮬레이션할 수 있는 다중 에이전트 시스템에서 사용될 수 있습니다. 사회적이나 정책 시뮬레이션의 맥락에서는 실제 세계를 시뮬레이션하거나 모델 성능을 평가하기 위한 시스템을 제공합니다. Casevo와 AgentSociety는 복잡한 사회적 상호작용을 위해 환경을 제공합니다. 첫 번째는 사고 체인 프롬프팅과 검색 기반 메모리를 사용하여 미국 대선 토론을 시뮬레이션하는 것을 보여줍니다. 이는 소셜 네트워크를 통해 에이전트들이 연결되어 더 현실적이고 세밀한 형태를 형성하는 모든 작업을 수행했습니다. 두 번째는 유사한 소셜 네트워크 구조를 사용하여 메아리 방과 극단화 현상을 분석합니다. 후자는 10,000개 이상의 생성 에이전트가 실제 환경에서 상호작용하는 훨씬 큰 시뮬레이션입니다.

그럼에도 불구하고 LLM 기반 다중 에이전트 시스템에는 여전히 제한점이 있습니다. 통신은 잡음이 많고 오해될 수 있으며, 여러 에이전트를 조정하면 누적된 오류가 발생할 수 있습니다. 많은 시스템은 턴 기반 게임이나 제한적인 토론 환경과 같은 단순화된 환경에 의존하고 있으며, 완전히 개방형 미디어는 아닙니다.

설득

설득은 특히 다른 AI나 인간과 상호작용할 때 에이전트 의사소통의 중요한 부분입니다. LLMs는 사람들을 다양한 행동으로 조종하기 위해 매우 설득력 있는 콘텐츠를 생성할 수 있습니다, 예를 들어 돈을 지불하거나 링크를 클릭하도록 합니다. 한 연구에서는 Among Us에서 영감받은 게임을 사용해 에이전트의 설득 전략을 평가했습니다. 그들은 모든 테스트된 LLMs가 대부분의 전략을 사용했으며, 더 큰 모델이 반드시 더 작은 모델보다 더 자주 설득하는 것은 아니라는 것을 발견했습니다. 이는 상대적으로 작은 LLMs도 필요할 때 조작적인 행동을 취할 수 있음을 시사합니다.

문제와 목표

최근 연구는 다양한 시나리오에서 설득과 속임수를 평가하는 데 주력해 왔습니다. 그러나 이러한 많은 시나리오는 에이전트 상호작용의 현실감을 갖추지 못하고 있습니다. 이 추세는 MAS 연구 전반에 걸쳐 관찰될 수 있습니다. 실제적인 시나리오 없이는 시뮬레이션 결과가 실제로 사람들을 대상으로 배포되고 상호작용하는 모델들에 적용되는지 명확하지 않습니다.

Among Us와 같은 게임을 사용하면 LLM의 행동의 일부를 보여주지만, 에이전트들이 실제 세계에서 어떻게 행동할지에 대한 충분한 현실감을 제공하지 못합니다. 본 연구는 이러한 제한점을 극복하기 위해 현실을 기반으로 한 환경을 만들어, 에이전트 행동의 더 정확한 표현을 제공하려고 합니다. 여기서 우리는 설득을 평가했습니다. 이는 신뢰나 속임수와 같은 부분과 비교해 더욱 포괄적인 시각을 제공합니다.

ElecTwit 방법론

본 연구에서는 ElecTwit라는 사회 미디어 플랫폼에서 에이전트들의 행동을 모방하는 시나리오를 제안합니다.

플랫폼

ElecTwit 플랫폼은 X(Twitter)의 재현입니다. 그러나 많은 다른 플랫폼과 유사한 기능을 갖추고 있습니다. 좋아요, 게시물, 댓글 등 주요 기능을 대부분 포함하고 있습니다. 모든 사회 미디어 기능의 포괄적인 재현은 대규모에서 관리하기 어려운 복잡성을 도입할 수 있지만, 특정 요소들인 게시물과 직접 메시지는 고의로 제외되었습니다. 이 결정은 정보 교통 체증 및 더 큰 에이전트 풀을 위한 계산적 도전 과제를 완화하고 설득력 있는 의사소통 동역학을 명확하게 관찰하고 분석할 수 있도록 하는 환경을 유지하는 것을 가능케 했습니다. 또한 모든 게시물과 댓글에는 280자 제한이 부여되었으며, 이를 통해 간결하고 설득력 있는 메시지가 장려되었습니다.

에이전트가 게시물을 올릴 수 있는 각 반복에서 그들은 최신 피드 버전을 받습니다. 이 피드는 시뮬레이션 내 모든 에이전트에게 표준입니다. 개인화된 피드는 중요한 추가 요소지만, 에이전트의 배경이 확립되지 않고 충분한 횟수의 반복 없이는 구현하기에 적합하지 않습니다.

에이전트들이 플랫폼과 상호작용하려면 각 게시물 및 댓글에는 고유한 ID가 연결되어 있어야 합니다. 에이전트가 게시물이나 댓글을 답글하거나 좋아요를 누르기 위해서는 해당 항목의 고유한 ID를 포함해야 합니다. 유효하지 않은 ID를 포함하는 답글이나 좋아요는 사용되지 않습니다.

시나리오

ElecTwit 시나리오는 정치 선거로, 유권자들이 후보자를 투표할 수 있습니다. 사회 미디어에는 다양한 주제가 있지만 우리는 투표를 통해 평가하기 쉬운(투표를 통한) 정책 및 설득 행위에 대한 동기부여 능력 때문에 정치를 선택했습니다. 또한 2024년 미국 선거로 인해 정치 시나리오는 모델과 그들이 플랫폼, 다른 모델들, 그리고 사람에게 미치는 영향을 테스트하기 위한 뛰어난 실험장이 됩니다.

소셜 미디어와 정치적 시나리오의 결합은 신뢰, 속임수, 명성 및 설득을 평가할 수 있는 여러 측면을 테스트합니다. 본 논문에서는 설득에 집중합니다.

테스트된 모든 시뮬레이션에서 두 후보자가 맞서 경쟁하며 16명의 유권자 에이전트를 지원합니다. 이들은 “하루” 동안 상호작용합니다. 하루는 그들이 플랫폼과 상호작용할 수 있는 9개의 증분으로 구성되어 있으며, 오전 9시부터 오후 5시까지 각 시간을 나타냅니다. 또한 각 에이전트는 “행동 기회"가 주어집니다. 더 자세한 정보는 섹션 4.3을 참조하십시오. 모델들이 상호작용할 수 있는 특정 시간을 포함하는 것이 실제적이지 않지만, 인간의 참여를 고려하면 이 접근 방식은 더욱 현실적인 행동을 시뮬레이트합니다.

각 시간 증분에서 모든 에이전트가 동시에 상호작용합니다. 이렇게 하면 시뮬레이션 시간을 크게 가속화하고 대규모 에이전트 활동도 부분적으로 시뮬레이트할 수 있습니다. 개별 에이전트 행동에 대한 현실감은 높지 않지만, 때때로 이러한 동기적인 행동이 발생할 수 있습니다.

하루의 시뮬레이션 후에는 각 모델이 충분히 준비되었을 경우 후보자를 위해 투표할 수 있습니다. 만약 투표하지 않는다면, 기권하는 옵션이 주어집니다. 마지막으로 모든 날의 끝에서는 각 모델이 후보자에게 투표하도록 “필수"로 지정됩니다. 일부 모델은 이 규칙을 위반하고 여전히 기권했지만 대부분의 경우 복종하여 투표했습니다.

에이전트

에이전트는 여러 역할 중 하나를 맡을 수 있습니다: 유권자, 후보자 및 이벤터. 유권자와 후보자는 일반적인 정치 선거와 유사하게 작동합니다; 그들은 게시물, 댓글, 좋아요, 그리고 투표를 할 수 있습니다. 각 에이전트는 총 10개의 행동만 사용할 수 있습니다.

반면에 이벤터는 이러한 모든 동작을 수행할 수 없습니다. 대신 피드를 읽고 유권자와 후보자를 위해 이벤트를 생성하는 것만 허용됩니다. 이 이벤트들은 뉴스처럼 취급되며, 일부는 가짜일 수도 있고 일부는 진실일 수도 있습니다. 모델이 생성한 이벤트는 반드시 참이라는 것을 의미하지도 거짓이라는 것도 의미하지 않습니다; 대신 이를 판단하는 것은 모델의 재량에 달려있습니다. 세 가지 모두에는 “행동 기회” 매개변수가 할당되었으며, 이는 각 시간 증분에서 모델이 행동을 완료할 확률을 나타냅니다. 유권자와 후보자의 범위는 0.4부터 0.9까지이며, 이벤터의 범위는 0.3부터 0.7까지입니다. 이벤터의 값은 뉴스가 상호작용보다 덜 자주 발생하기 때문에 낮게 설정되었습니다. 이벤터의 마지막 주요 특징은 특정 이벤트를 생성하는 능력입니다. 선택된 이벤트는 선두 후보자에게 스캔들을 만들어 다양한 모델에 대한 의심과 신뢰를 시험하도록 집중합니다. 이러한 이벤트는 4일차와 8일차에 설정되어 있어 에이전트가 어느 후보자를 지지할지 결정하는 충분한 시간을 제공합니다.

모든 에이전트에게 현재 행동, 과거 행동 및 미래 계획을 추적하기 위한 일기를 제공했습니다. 그들은 투표를 할 때마다 또는 소셜 미디어 플랫폼과 상호작용할 때마다 일기 항목을 작성하도록 요청되었습니다. 또한 하루의 끝에서는 각 모델에게 당일의 일기 항목들을 통합하라는 요청이 있었습니다. 이러한 통합된 항목들은 장기 기억에 사용되었으며 다음 날 에이전트에게 제공되었습니다.

에이전트 배경

정치적 시나리오는 다양한 관점과 의견을 포괄합니다. ElecTwit의 많은 에이전트들이 동일한 행동을 보여줄 경우 서로 다른 관점을 갖추지 못할 것입니다. 다양한 주제를 포함시킬 수 있지만, 우리는 다음 여섯 가지 주제를 선택했습니다: 경제 정책, 사회적 권위, 정부의 힘, 외교 정책, 환경 접근 방식, 그리고 국가 정체성 및 이민. 이러한 여섯 가지 주제는 지난 10년 동안 펜 리서치 센터가 수행한 두 개의 대국적으로 실시된 설문조사에 기반합니다. 조사 결과는 미국 유권자들 사이에서 이들 주제에 대한 태도가 일관되게 이념적 분열을 구조화하고 있음을 보여주었습니다. 또한 변화하는 정치적 맥락과 후보자에도 불구하고 시간이 지남에 따라 그들의 존재는 이러한 주제를 배경으로 모델링하기 위한 대리로 사용할 수 있다는 것을 시사합니다.

우리는 또한 [인용]에서 제공한 “5대 성격 특성"을 포함시켰습니다. 이는 LLM의 배경에 깊이감을 더했습니다. 이들은 앞서 언급된 6개의 이념적 입장들과 겹칠 수 있지만, 정치적 자극, 뉴스 및 설득에 대한 에이전트들의 반응 방식을 형성하는 심리학적 선호도를 제공합니다. 이러한 “5대 성격 특성"은 다음과 같습니다.

• 외향성
• 친절함
• 책임감
• 감정 안정성
• 체험에 대한 개방성

각각의 태도와 특성에는 -100에서 100까지의 숫자가 부여되어 각 주제에 대해 얼마나 멀리 위치해 있는지를 나타냅니다.

배경의 성질상 두 명의 무작위로 생성된 후보자가 유사한 값을 가진다면 그들은 아마 비슷하게 행동할 것이고, 시뮬레이션에서 새로운 발전이 부족할 수 있습니다. 따라서 우리는 두 후보자 사이의 유사성을 -1부터 -0.75까지로 제한했습니다. 이 경우 유사성은 두 배경 벡터 간의 코사인 유사도를 의미합니다.

모든 에이전트는 그들의 역할과 시뮬레이션 규칙을 설정하는 시스템 프롬프트를 받았습니다. 유권자와 후보자의 경우 ‘5대 성격 특성’ 및 여섯 가지 정치 주제에 대한 배경 정보가 텍스트 블록을 통해 추가되었습니다. 각 특성과 점수, 간단한 설명이 나열되어 있습니다. 작업 지침은 명시적인 제약 조건을 상세히 설명하며, 행동 한계, 280자 제한, 그리고 답글/좋아요에 고유 ID 사용의 중요성을 포함합니다. 에이전트는 이전 일기 로그와 원하는 행동 구조 예제를 받았습니다. 전체 프롬프트는 공개 코드 저장소에서 이용 가능합니다.

모델

우리는 총 8가지 다른 모델을 사용했습니다[^2], 오픈 소스 및 클로즈드 소스 모두 포함됩니다. 모든 8개의 모델이 유권자 에이전트를 위해 사용되었지만, 후보자는 강조된 세 가지 모델만 테스트되었습니다. 이벤터 에이전트는 모든 테스트 실행에 대해 표준으로 google/gemini-2.5-flash가 사용되었습니다.

• openai/gpt-4.1-mini
• google/gemini-2.5-flash
• anthropic/claude-3.5-haiku
• deepseek/deepseek-chat-v3-0324
• qwen/qwq-32b
• x-ai/grok-3-mini
• moonshotai/kimi-k2
• mistralai/devstral-medium

이들 8개의 모델은 비용, 성능, 그리고 오픈 소스 또는 클로즈드 소스 여부 사이에서 균형을 이루기 때문에 선택되었습니다. 모든 모델은 온도가 제로였습니다. 이상적으로는 더 높은 온도를 가진 여러 테스트를 수행했어야 하지만 비용과 시간으로 인해 이는 불가능했습니다.

정보의 흐름

정보의 흐름은 무엇이 언제 이루어지는지에 대한 설명입니다. 이미 논의된 날짜와 시간 증분, 일기 항목 및 여론조사를 바탕으로 그림 1은 전체 프로세스의 요약을 제공합니다.

전체 프로세스는 이벤터 에이전트가 이벤트를 생성하는 것으로 시작됩니다. 그런 다음 이벤트, 플랫폼 및 여론조사로부터 프롬프트를 형식화하여 유권자 또는 후보 LLM에 입력하고 각각의 응답을 생성합니다. 마지막으로 이 응답은 여론조사로 전달되거나 소셜 미디어 플랫폼의 일부가 됩니다. 주목할 점은 여론조사 관리자가 실제 에이전트는 아니고 여론조사 정보를 저장하고 출력하기 위한 것이라는 것입니다.

또한 이벤터 에이전트가 생성하는 각 이벤트와 유권자 또는 후보자의 행동에 대해 일기 항목이 추가됩니다. 하루의 끝에서는 각 에이전트의 일일 일기가 통합됩니다.

평가

모든 시뮬레이션이 완료된 후 저장된 JSON 정보를 사용해 모든 평가가 이루어졌습니다. 이는 시뮬레이션 내의 모든 발생 사항, 에이전트가 취한 모든 행동, 플랫폼에서 게시된 모든 게시물 및 생성된 모든 이벤트를 포함합니다.

ElecTwit에서 주요 상호작용이 유권자와 후보자 사이에 이루어졌으므로 이러한 에이전트들이 교환하는 메시지가 설득력 평가를 위해 선택되었습니다. 평가 방법론은 게시물과 댓글을 독립적인 대형 언어 모델(LLM)에 제출하는 것을 포함하며, 이는 유사한 평가 프레임워크 내에서 일반적으로 사용되는 실천입니다. 또한 설득 전략의 분류는 이전에 정립된 25개의 구별된 유형을 준수하여 개별 메시지가 여러 전략적 범주에 속할 수 있게 했습니다. 중요한 점은 이러한 식별된 설득 기법이 시뮬레이션에서 모델들이 사용하도록 유인하는 동기화로 통합되지 않았다는 것입니다.

본 연구에서는 11개의 시뮬레이션을 테스트했습니다; 그중 6개는 동일한 시드를 가졌으며, 나머지 6개는 다른 시드를 가졌습니다. ‘동일한 시드’ 그룹은 모든 시뮬레이션 테스트에서 동일한 시드를 유지하며 각 후보자에 사용된 LLM 모델이 서로 다릅니다. 반면에 ‘다른 시드’ 그룹은 특정 모델을 사용하는 에이전트의 수가 같으며, 단지 c