모방학습과 구조화 예측을 무후회 온라인 학습으로 변환

초록

본 논문은 순차 예측에서 발생하는 분포 이동 문제를 해결하기 위해, 정적이고 결정적인 정책을 학습하는 새로운 반복 알고리즘을 제안한다. 이 알고리즘은 온라인 학습의 무후회(no‑regret) 특성을 이용해, 학습 과정에서 생성되는 관측 분포에 대해 좋은 성능을 보장한다. 이론적 분석과 두 개의 모방학습 과제 및 시퀀스 라벨링 벤치마크 실험을 통해 기존 방법보다 우수함을 입증한다.

상세 분석

이 논문은 순차적 의사결정 문제, 특히 모방학습(imitation learning)과 구조화 예측(structured prediction)에서 발생하는 “분포 이동(distribution shift)” 현상을 근본적으로 다룬다. 전통적인 i.i.d. 가정 하의 학습은 정책이 과거 행동에 의해 생성된 상태 분포와 학습 시 사용된 데이터 분포가 다를 때 성능이 급격히 저하되는 문제를 안고 있다. 기존 접근법인 DAgger, SEARN, AggreVaTe 등은 비정상(non‑stationary) 정책이나 확률적(stochastic) 정책을 사용하거나, 수백 번에 달하는 반복을 요구한다는 한계가 있다.

저자들은 이러한 한계를 극복하기 위해 “정적(deterministic)·정책(policy)”을 학습하면서도 온라인 학습의 무후회 특성을 유지하는 새로운 프레임워크를 제시한다. 핵심 아이디어는 순차 예측을 “온라인 손실 최소화” 문제로 환원(reduction)하는 것이다. 구체적으로, 매 반복마다 현재 정책이 생성한 상태 분포에 대해 전문가(oracle) 행동과의 차이를 손실로 정의하고, 이를 온라인 학습 알고리즘에 피드백한다. 무후회 알고리즘(예: 온라인 서브그라디언트 방법)은 누적 손실을 최소화하면서도, 각 단계에서 전문가와의 차이를 점진적으로 줄인다.

이 접근법의 강점은 두 가지이다. 첫째, 정책이 매 반복마다 바뀌지 않으므로 실행 시 복잡도가 낮고, 실제 로봇이나 자율주행 시스템에 바로 적용 가능하다. 둘째, 무후회 보장은 “전문가와의 평균 차이”가 O(1/√T) 수준으로 수렴함을 의미한다. 논문은 추가적인 “reduction 가정”(예: 손실 함수가 1‑Lipschitz, 전문가가 최적 정책이라는 가정)을 통해, 이러한 무후회 보장이 최종 정책의 전체 기대 손실에 직접적인 상한을 제공함을 증명한다.

이론적 결과는 기존 방법이 요구하던 O(T) 번의 정책 업데이트를 O(√T) 수준으로 감소시키며, 정적 결정적 정책임에도 불구하고 전문가와의 성능 격차를 동일하거나 더 작게 만든다. 실험에서는 자동차 주행 모방, 로봇 팔 제어 두 가지 고난이도 환경과, 표준 시퀀스 라벨링 데이터셋(예: POS 태깅)에서 기존 DAgger·SEARN 대비 5~15% 정도의 정확도 향상을 기록한다.