역동적 모델 기반 반지도 학습 모방학습의 샘플 효율성 탐구

초록

본 논문은 소량의 행동 라벨이 있는 데이터와 대량의 라벨 없는 데이터를 활용하는 반지도 모방학습(SSIL)에서 역동역학 모델(IDM)의 샘플 효율성을 이론과 실험으로 분석한다. IDM을 이용한 VM‑IDM과 IDM 라벨링이 무한한 라벨 없는 데이터와 충분한 모델 용량 하에서 동일한 정책(IDM‑기반 정책)을 학습한다는 것을 보이고, IDM이 행동 복제(BC)보다 학습이 쉬운 이유를 (1) 가설 클래스 복잡도 차이와 (2) 확률적 다양성 차이 두 가지 요인으로 설명한다. 또한 최신 통합 비디오‑액션 예측 모델(UVA)을 활용한 실험과, 기존 LAPO 알고리즘을 개선한 변형을 제안하여 ProcGen, Push‑T, Libero 벤치마크에서 성능 향상을 입증한다.

상세 분석

본 연구는 SSIL 환경에서 두 가지 IDM 기반 접근법, 즉 VM‑IDM과 IDM 라벨링을 수학적으로 동일시한다. 저자들은 무한히 많은 (s, s′) 쌍을 이용해 비디오 모델(VM)이 최적의 전이 확률 v* (s′|s)를 학습하고, 이와 결합된 IDM ĥ (a|s,s′)이 최적 정책 π̂(v*,ĥ) = ∫ĥ(a|s,s′)v*(s′|s)ds′ 를 만든다는 식(4)을 제시한다. 라벨링 방식에서도 동일한 KL 최소화 과정이 적용되어, 두 방법이 같은 정책, 즉 IDM‑기반 정책을 수렴함을 증명한다.

핵심적인 이론적 기여는 IDM 학습이 BC보다 샘플 효율적인 이유를 두 가지 관점에서 설명한다. 첫째, 실제 역동역학 h* (a|s,s′)는 상태‑액션 정책 π* (a|s)보다 구조적으로 단순한 경우가 많다. 이는 h* 가 낮은 복잡도 가설 클래스 H에 포함될 가능성이 높아, 편향‑분산 트레이드오프에서 낮은 분산을 보장한다. 반면 π* 를 표현하려면 더 큰 클래스 Π가 필요해 과적합 위험이 커진다. 저자들은 미로 환경에서 목표 복잡도와 환경 복잡도를 조절해 이 가설을 실험적으로 검증했으며, 복잡도가 증가할수록 BC보다 IDM이 더 큰 정확도 격차를 보였다.

둘째, 확률적 측면에서 h* 는 종종 결정론적이거나 낮은 엔트로피를 가진다. 반면 π* 은 인간 전문가의 행동 다양성 때문에 높은 엔트로피를 가질 수 있다. KL 다이버전스 관점에서, 동일한 라벨 수 N에 대해 D_KL( h*‖ĥ ) < D_KL( π*‖π̂_BC ) 가 성립하면, 최종 정책의 KL도 (식 6) 동일하게 ĥ 에 의해 제한된다. 이는 IDM 기반 정책이 BC보다 더 빠르게 전문가 정책에 수렴함을 의미한다.

실험에서는 최신 통합 비디오‑액션 예측 아키텍처인 UVA를 VM으로 사용해 VM‑IDM 성능을 크게 끌어올렸다. 또한 기존 LAPO(Latent Action Policy Optimization) 알고리즘에 제안된 개선점을 적용해, latent action space에서 IDM 학습의 샘플 효율성을 활용, ProcGen 16개 환경 전반에 걸쳐 평균 4~7%의 성공률 향상을 달성했다.

전체적으로 논문은 “IDM이 더 쉬운 학습 대상이다”라는 직관을 통계학적 학습 이론과 실험적 증거로 체계화했으며, 이는 SSIL에서 라벨링 비용을 크게 절감하고, 비디오 기반 로봇 및 게임 에이전트 학습에 실용적인 가이드라인을 제공한다.