몬테카를로 트리 탐색 기반 자동 협상 에이전트 MoCaNA

초록

MoCaNA는 몬테카를로 트리 탐색(MCTS)을 입찰 전략의 핵심으로 사용하고, 상대방의 입찰 패턴과 효용을 가우시안 프로세스와 베이지안 학습으로 모델링한다. 연속적인 협상 공간과 제한 없는 협상 상황에서도 작동하며, ANAC 2014 최종 후보와 RandomWalker와의 실험에서 유의미한 성능 향상을 보였다.

상세 분석

본 논문은 자동 협상 문제를 ‘협상(bargaining)’이라는 확장형 게임으로 정형화하고, 그 위에 MCTS를 적용한다는 점에서 혁신적이다. 먼저 협상 과정을 두 플레이어(구매자와 판매자)의 번갈아 가는 행동으로 모델링하고, 각 노드는 현재 제안 집합과 협상 히스토리를 포함한다. MCTS의 네 단계—선택, 확장, 시뮬레이션, 역전파—를 각각 협상 특성에 맞게 변형한다. 선택 단계에서는 UCT(Upper Confidence Bound for Trees) 공식을 사용해 아직 탐색되지 않은 제안들을 우선 탐색하고, 확장 단계에서는 연속적인 제안 공간을 적절히 샘플링하기 위해 가우시안 프로세스 회귀(GPR)를 이용해 상대방이 선호할 가능성이 높은 값들을 예측한다. 시뮬레이션 단계에서는 상대방 모델을 기반으로 가상의 제안을 생성하고, 종료 조건은 합의 도달, 거절, 혹은 사전 정의된 최대 라운드(제한 없는 경우 무한히 진행)이다. 역전파 단계에서는 각 노드에 누적된 보상으로 상대방과 자신의 효용을 모두 고려한 가중 평균을 사용한다.

상대방 모델링은 두 축으로 이루어진다. 첫째, 입찰 전략 모델링은 GPR을 통해 상대방이 과거에 제시한 제안들의 속성을 학습하고, 이를 바탕으로 미래 제안을 예측한다. 둘째, 효용 모델링은 베이지안 추정으로 각 속성에 대한 가중치를 추정하며, 연속적인 속성값에 대해 선형 혹은 조각별 선형 효용 함수를 가정한다. 이러한 모델은 시뮬레이션 단계에서 상대방의 반응을 보다 현실적으로 재현하게 해준다.

실험에서는 MoCaNA를 ANAC 2014의 6개 최종 후보와 RandomWalker에 적용하였다. 제한이 없는 협상 도메인에서는 RandomWalker보다 현저히 높은 평균 효용을 기록했으며, 제한이 있는 도메인에서는 대부분의 ANAC 후보를 앞섰다. 특히, 제한이 없는 상황에서 MCTS의 탐색 깊이가 무한히 확장될 수 있음에도 불구하고, 상대방 모델링과 효용 추정이 조기에 수렴하여 효율적인 제안을 생성한다는 점이 주목할 만하다.

한계점으로는 MCTS의 시뮬레이션 수가 증가할수록 계산 비용이 급격히 상승한다는 점과, 상대방 모델이 초기 단계에서 부정확할 경우 탐색이 잘못된 방향으로 흐를 위험이 있다. 또한, 현재는 두 플레이어(이진 협상)만을 대상으로 설계되었으며, 다자 협상이나 복합적인 프로토콜에 대한 확장은 추가 연구가 필요하다.

본 연구는 고분기점 협상 문제에 MCTS를 성공적으로 적용한 최초 사례 중 하나이며, 연속적인 협상 공간과 제한 없는 상황에서도 실용적인 성능을 보여 자동 협상 에이전트 설계에 새로운 방향을 제시한다.