인간과 AI의 상호 적응을 위한 중첩 학습

초록

본 논문은 인간과 로봇이 협업할 때 서로의 행동에 적응하는 문제를 다룬다. 인간의 적응을 상태에 명시적으로 포함한 유한 수준의 I‑POMDP 모델을 제안하고, 하위 수준의 적응 에이전트를 고정시킨 채 상위 수준 에이전트를 순차적으로 학습하는 ‘중첩 학습’ 방식을 도입한다. Overcooked 환경에서 기존 베이스라인 대비 미보인 적응 파트너와의 협업 성능과 적응성을 크게 향상시켰다.

상세 분석

이 연구는 인간‑AI 팀워크에서 상호 적응(mutual adaptation)의 중요성을 강조한다. 기존 연구들은 다양한 정적 파트너를 활용해 로봇을 훈련시키지만, 인간은 로봇의 정책에 따라 행동을 지속적으로 조정한다는 점을 간과한다. 또한, 다중 에이전트 강화학습을 동시에 수행하면 에이전트들이 서로에게 특화된 암묵적 협조 전략을 학습하게 되며, 이는 훈련에 사용된 파트너와만 잘 작동하고 새로운 파트너와는 성능이 급격히 저하되는 문제를 야기한다.

논문은 이러한 문제를 해결하기 위해 인간‑AI 협업을 유한 수준의 Interactive‑POMDP(I‑POMDP)로 모델링한다. I‑POMDP는 전통적인 POMDP에 다른 에이전트의 모델을 상태 공간에 포함시켜, 각 에이전트가 상대방의 전략을 믿음(belief)으로 유지하도록 설계된다. 여기서 인간의 적응 메커니즘을 ‘전략 수준(level)’이라는 개념으로 구분하고, 로봇은 레벨‑2, 인간은 레벨‑1, 고정된 로봇 정책은 레벨‑0으로 정의한다.

핵심 기여는 ‘중첩 학습(Nested Training)’ 프레임워크이다. 레벨‑1 인간 정책들은 고정된 레벨‑0 로봇 정책들에 대해 학습되어, 인간이 로봇의 행동 유형을 관찰하고 이에 적응하는 능력을 갖춘다. 이후 레벨‑2 로봇 정책은 이러한 레벨‑1 인간 정책들을 고정된 파트너로 사용해 학습한다. 이렇게 하면 로봇은 다양한 적응형 인간 행동을 경험하면서도, 파트너가 동시에 학습하지 않으므로 암묵적 협조 관습(convention)에 수렴하는 위험을 피한다.

학습 효율성을 위해 논문은 상호작용 히스토리를 잠재 임베딩(z_t = f_θ(h_t))으로 압축하고, 이 임베딩을 조건으로 정책 π_θ(a|o_t, z_t)를 학습한다. 이는 파트너 유형에 대한 불확실성을 amortized inference 형태로 처리함으로써, 복잡한 베이지안 belief 업데이트를 신경망 하나로 대체한다. 또한, 이 접근법은 end‑to‑end 방식으로 최적화가 가능해 실제 강화학습 파이프라인에 쉽게 통합될 수 있다.

실험은 Overcooked의 ‘required‑cooperation’ 변형에서 수행되었다. 8개의 미보인 적응 파트너(레벨‑1 인간 정책)와 로봇을 10라운드, 각각 5에피소드(단기)와 25에피소드(장기) 조건에서 매칭하였다. 제안 방법은 평균 성공률 0.90(단기)·0.935(장기)를 기록했으며, 이는 가장 근접한 Generalist 정책(0.575·0.65)보다 현저히 높다. 또한 파트너별 성공률에서도 일관된 높은 성능을 보였으며, 기존 베이스라인(LIAM, LILI, PA‑CE 등)은 파트너에 따라 성능 편차가 크고, 특히 동시 학습 기반 방법은 전혀 성공하지 못했다.

행동 분석에서는 레벨‑1 인간 에이전트가 로봇의 행동을 관찰해 ‘대기(wait)’ 전략을 취하고, 레벨‑2 로봇은 이를 예측해 먼저 행동함으로써 상호 적응이 원활히 이루어지는 모습을 확인했다. 반면 베이스라인은 레시피 선택에서 지속적인 진동을 보이며 안정적인 협조 관습을 형성하지 못했다. 이러한 결과는 인간 적응을 명시적으로 모델링하고, 파트너를 고정된 적응형 에이전트로 두는 것이 일반화된 협업 능력을 크게 향상시킨다는 것을 실증한다.

마지막으로 논문은 실제 인간 피험자를 대상으로 한 실험과, 보상 구조가 다를 수 있는 혼합 동기(mixed‑motive) 상황으로 확장하는 방향을 제시한다.