근사 최적 이차 보장 모델 기반 적대적 모방 학습

초록

본 연구는 오프라인 전문가 시연 데이터와 보상 없이 환경과의 온라인 상호작용을 통해 학습하는 적대적 모방 학습(AIL)을 분석합니다. 기존 연구에서 명확히 이해되지 않았던 온라인 상호작용의 이점과 시스템 확률성의 영향을 규명하기 위해, 모델 기반 AIL 알고리즘(MB-AIL)을 제안하고 일반 함수 근사 하에서 지평선 독립적인 이차 샘플 복잡도 보장을 수립했습니다. 이 이차 보장은 정책의 반환 분산에 따라 조정되는 인스턴스 의존적 결과를 제공하며, 시스템이 결정론적에 가까울수록 더욱 강력해집니다. 새롭게 구성된 하드 인스턴스 패밀리에 대한 정보 이론적 하한과 결합하여, MB-AIL이 제한된 전문가 시연 데이터 하에서 온라인 상호작용에 대해 (로그 인자까지) 최소최대 최적의 샘플 복잡도를 달성함을 보였습니다. 실험을 통해 이론적 결과를 검증하고 MB-AIL의 실용적 구현이 기존 방법들의 샘플 효율성을 따라가거나 능가함을 입증했습니다.

상세 분석

본 논문의 핵심 기술적 기여는 ‘이차(Second-Order)’ 샘플 복잡도 보장을 도입한 점에 있습니다. 기존 AIL 이론 분석의 대부분은 정책 가치 차이의 상한을 일차 모멘트(기댓값) 기반으로 유도했으나, 이 연구는 이차 모멘트(분산)를 활용한 더욱 정밀한 분석을 수행했습니다. 구체적으로, 알고리즘의 총 누적 후회(Regret)를 보상 함수 추정 오차와 전이 모델 추정 오차로 분해한 후, 각 부분에 대해 분산에 의존하는 정밀한 오차 분석을 수행했습니다. 이를 통해 얻은 샘플 복잡도 상한은 O(σ²/ε²) 형태를 띠며, 여기서 σ²는 관련 정책 하에서 누적 보상의 분산을 의미합니다. 이는 시스템이 결정론적일수록(σ² → 0) 샘플 복잡도가 급격히 감소할 수 있음을 시사하며, 확률성이 학습 난이도에 미치는 영향을 정량화합니다.

또한, 논문은 모방 학습을 위한 새로운 하드 인스턴스 패밀리를 구성하고 이에 대한 정보 이론적 하한을 증명했습니다. 하한 분석의 핵심 통찰은 전문가 데이터는 주로 보상 함수 학습에 기여하는 반면, 온라인 상호작용은 전이 커널 학습과 밀접하게 연관된다는 점입니다. 이 하한과 MB-AIL의 상한을 비교함으로써, 논문은 MB-AIL이 온라인 상호작용 샘플 복잡도 측면에서 최소최대 최적(로그 인자 내)임을 입증했습니다. 전문가 시연 데이터 복잡도에서는 보상 함수 클래스 R의 로그 크기(log|R|)에 해당하는 작은 간격만 남아, 거의 최적에 가깝습니다.

이러한 이론적 진전은 모델 기반 접근법이 왜 AIL에 유리한지를 명확히 합니다. MB-AIL은 정책 클래스 Π를 보상 클래스 R과 모델 클래스 P로 분리하여, 보상 학습(전문가 데이터로부터의 적대적 추정)과 모델 학습(온라인 상호작용 데이터로부터의 MLE 추정 및 낙관적 탐색)을 분해합니다. 이 분리는 이차 분석을 가능하게 하는 동시에, 샘플 효율적인 온라인 탐색을 위한 모델 기반 RL 기법(예: 낙관적 계획)의 적용을 용이하게 합니다.