대회 기반 적대적 품질·다양성 향상

초록

본 논문은 적대적 문제에 적용되는 품질·다양성(QD) 알고리즘인 GAME을 개선한다. 기존의 행동 기반 과제 선택 방식이 양측 의존성을 무시해 비효율적이라는 점을 지적하고, 서로 다른 솔루션 집합을 공정히 비교하기 위한 인터‑버전 토너먼트 방식을 도입한다. 토너먼트 결과를 활용한 두 가지 과제 선택 기법(Ranking·Pareto)을 제안하고, 이를 Pong, 고양이‑쥐, 추격‑도피 게임에 적용해 품질·다양성 지표 6가지를 측정한다. 실험 결과 토너먼트 기반 선택이 기존 방식보다 높은 적대적 품질과 다양성을 달성함을 보인다.

상세 분석

이 연구는 적대적 환경에서 양쪽 에이전트가 동시에 진화해야 하는 상황을 다루며, 기존 QD 프레임워크가 단일 측면만을 조명하는 한계를 극복하고자 한다. 핵심 아이디어는 두 에이전트 집합 사이의 상호 의존성을 정량화하기 위해 “인터‑버전 토너먼트”를 도입하는 것이다. 토너먼트는 현재 세대의 엘리트와 이전 세대의 과제(태스크)를 모두 상호 대전시켜, 각 솔루션이 상대에게 얼마나 강한지를 행렬 형태의 피트니스 스코어로 기록한다. 이 행렬을 기반으로 두 가지 과제 선택 전략을 설계한다.

1. Ranking 방식은 각 엘리트에 대해 상대 과제에 대한 순위 벡터를 만든 뒤, K‑means 클러스터링을 적용한다. 클러스터 중심에 해당하는 솔루션들을 새로운 과제로 선정함으로써, 서로 다른 순위 패턴을 보이는 과제들을 골고루 포함한다. 이는 “다양한 도전 과제”를 제공해 다음 세대가 보다 폭넓은 행동 공간을 탐색하도록 유도한다.

2. Pareto 방식은 토너먼트 피트니스 행렬을 다목표 최적화 문제로 변환한다. 각 과제는 상대 엘리트에 대한 승률(또는 평균 피트니스)과 손실률을 두 목표로 갖는다. 이중 파레토 앞선 솔루션들을 과제로 선택함으로써, 한쪽이 강하면서도 다른 쪽에 충분히 도전적인 과제 집합을 만든다.

또한 논문은 적대적 QD 평가에 적합한 6가지 지표를 정의한다. 기존 QD에서 사용되는 “max fitness”, “behavior coverage”, “QD‑score” 등은 상대 측면을 무시하면 왜곡될 수 있다. 제안된 지표는 (1) 양측 평균 피트니스, (2) 양측 최댓값·최솟값 차이, (3) 양측 행동 공간 커버리지, (4) 상호 다양성 지표(예: Jaccard similarity of behavior sets), (5) 토너먼트 기반 다양성 점수, (6) 전체 파레토 프론트 면적 등을 포함한다.

실험은 세 가지 대표적인 적대적 게임에 적용되었다. Pong에서는 공의 궤적과 라켓 움직임을, Cat‑and‑Mouse에서는 회피·추격 경로를, Pursuers‑and‑Evaders에서는 다중 에이전트의 협동·대립 전략을 각각 행동 디스크립터로 사용했다. 각 게임마다 30번의 독립 실행을 수행했으며, 토너먼트 기반 과제 선택이 특히 초기 세대에서 빠른 품질 상승과 행동 다양성 확장을 보였다. 특히 Pareto 방식은 높은 품질을 유지하면서도 행동 커버리지를 크게 늘려, 최종 세대에서 가장 균형 잡힌 솔루션 풀을 제공했다.

이러한 결과는 적대적 QD에서 “과제 선택”이 단순히 행동 다양성에 의존하는 것이 아니라, 상대와의 경쟁 결과를 반영해야 함을 실증한다. 토너먼트라는 공정한 비교 메커니즘을 도입함으로써, 양측 모두에게 의미 있는 도전 과제를 지속적으로 제공하고, 궁극적으로 전체 적대적 행동 공간을 보다 완전하게 조명할 수 있다.