메모리 절감과 근사 최적 전략을 위한 불완전 기억 추상 자동 생성

초록

이 논문은 확장형 게임의 메모리 요구를 크게 줄이기 위해 도메인에 독립적인 불완전 기억 정보 추상 기법을 제안한다
두 개의 알고리즘 FPIRA와 CFR+IRA를 설계하여 초기 추상에서 시작해 필요한 정보를 점진적으로 복원한다
실험 결과는 원 게임의 0.9% 수준의 정보 집합만으로도 근사 내시 균형을 얻을 수 있음을 보여준다

상세 분석

본 연구는 기존 정보 추상 방법이 특정 도메인에 의존하거나 품질 보장을 제공하지 못한다는 한계를 인식하고, 완전 기억(perfect recall) 제약을 완화한 불완전 기억(imperfect recall) 추상화를 자동으로 구축하는 프레임워크를 제시한다. 핵심 아이디어는 매우 거친 초기 추상을 설정한 뒤, 두 가지 반복적 학습 알고리즘—FPIRA(Fictitious Play for Imperfect Recall Abstractions)와 CFR+IRA(Counterfactual Regret Minimization Plus for Imperfect Recall Abstractions)—를 통해 추상 게임을 해결하고, 원 게임과의 전략 품질 차이를 측정하여 부족한 정보를 식별한다. 식별된 정보는 추상에 다시 포함시켜 정보 집합을 세분화하고, 이 과정을 수렴할 때까지 반복한다. FPIRA는 전통적인 가상 플레이(Fictitious Play)의 수렴 특성을 불완전 기억 추상에 적용하도록 변형했으며, 전략 품질 차이를 기반으로 정보 집합을 정밀하게 재구성한다. CFR+IRA는 최신 CFR+ 알고리즘의 빠른 수렴 속도를 활용하면서, 실제 수렴 속도가 이론적 외부 후회(bound)보다 느릴 경우 해당 정보 집합을 세분화한다. 두 알고리즘 모두 원 게임의 완전 기억 가정 하에 보장되는 수렴성을 유지하면서, 추상화 과정에서 발생하는 손실을 제한한다. 실험에서는 포커, 보안 계획 인식, 경매 등 다양한 대규모 EFG에 적용했으며, 메모리 사용량이 원 게임 대비 1% 이하로 감소하면서도 근사 내시 균형에 매우 근접한 전략을 얻었다. 특히 CFR+IRA는 초기 추상이 매우 거칠어도 0.9% 수준의 정보 집합만으로 원하는 정확도를 달성했으며, 게임 규모가 커질수록 추상 비율이 더욱 감소하는 경향을 보였다. 이 결과는 불완전 기억 추상이 메모리 병목을 해소하고, 제한된 하드웨어 환경에서도 대규모 게임을 실용적으로 해결할 수 있음을 시사한다.