에이전트 정렬을 위한 인터랙티브 시뮬레이션

초록

DoubleAgents는 사용자가 정책, 이메일 템플릿, 정지 훅을 정의하고 시뮬레이션을 통해 반복적으로 검증·수정할 수 있게 하는 에이전트 기반 일정 조율 도구이다. 실험실 사용자 연구와 실제 배포 결과, 시뮬레이션을 거친 후 사용자는 점차 에이전트에 작업을 위임하고, 정렬된 정책과 템플릿을 재사용한다는 점을 보여준다.

상세 분석

본 논문은 에이전트형 AI가 인간을 대신해 행동할 때 발생하는 정렬 문제를 ‘양방향 정렬’ 프레임워크에 기반해 접근한다. 핵심 아이디어는 ‘ReAct’ 루프에 사용자 개입 지점을 삽입하고, 가상의 응답자를 LLM으로 시뮬레이션함으로써 실제 배포 전 위험을 최소화하는 것이다. 시스템은 크게 세 부분으로 구성된다. 첫째, Coordination Agent는 사전에 정의된 정책 집합을 기반으로 현재 상태를 요약하고, 가능한 행동(예: 초대 이메일 초안 작성, 일정 확인, 후속 메일 전송 등)을 제안한다. 둘째, Simulated Respondents는 인물별 페르소나와 응답 패턴을 모델링해 다양한 시나리오(느린 회신, 일정 충돌, 재정 지원 요구 등)를 생성한다. 셋째, Context Management는 시간 흐름, 이메일 로그, 정책 변경 이력 등을 지속적으로 업데이트해 에이전트의 다음 의사결정에 반영한다.

시뮬레이션 과정에서 사용자는 Policy Panel, Interactive Chat Interface, Plan and Action Pop‑up, Assignment Tracker 등 UI 요소를 통해 에이전트의 제안을 실시간으로 검토·수정한다. 특히 ‘정지 훅(stop hook)’은 정책이 적용되지 않거나 불확실성이 감지될 때 자동으로 플래그를 띄워 사용자의 승인을 요구한다. 이는 투명성 확보와 과도한 자동화를 방지하는 메커니즘으로, 기존 자동화 도구가 갖는 ‘블랙박스’ 문제를 완화한다.

실험 설계는 두 단계로 나뉜다. 1) Lab Study(n=10)에서는 참가자들이 시뮬레이션을 2일에 걸쳐 여러 차례 수행하면서 초기에는 위임을 꺼리지만, 정책·템플릿·정지 훅을 점진적으로 다듬으며 위임 비율이 상승한다는 정량적·정성적 변화를 관찰한다. 2) Real‑world Deployments(3건)에서는 실제 조직의 세미나 일정 조율에 DoubleAgents를 적용했으며, 참가자들은 사전 시뮬레이션 덕분에 초기 정책을 빠르게 확정하고, 실제 이메일 발송 시 오류와 오해를 크게 감소시켰다고 보고한다.

기술적 평가에서는 시뮬레이터의 응답 다양성, 정책 적용 정확도, 그리고 에이전트의 계획 성공률을 측정한다. 결과는 시뮬레이터가 85% 이상 실제 사용자 응답과 일치하고, 정책 기반 계획이 비정책 기반 대비 30% 이상 높은 성공률을 보였음을 보여준다. 또한, 정지 훅을 활용한 인터벤션이 전체 작업 시간의 평균 12%를 절감시키는 효과가 있었다.

이 논문의 주요 공헌은 다음과 같다. (1) 정책·템플릿·정지 훅을 통합한 ReAct 기반 인터랙티브 프레임워크 제시, (2) LLM 기반 인간 응답 시뮬레이션을 활용한 안전한 사전 검증 환경 구축, (3) 실험실 및 실제 현장에서 정렬 향상과 사용자 신뢰 구축을 입증한 경험적 증거 제공. 특히, 에이전트가 복잡하고 사회적·문화적 뉘앙스가 중요한 업무(예: 이메일 초대, 일정 협상)에서 인간과 동등한 수준의 정렬을 달성하려면 사전 시뮬레이션과 지속적인 정책 업데이트가 필수적이라는 점을 강조한다.