연속 고차원 POMDP를 위한 지역 근사 기반 확장 가능 계획법

초록

본 논문은 연속적인 상태·행동·관측 공간을 갖는 고차원 POMDP 문제에 대해, 가우시안 혼합으로 믿음(belief)을 표현하고 EKF 기반 믿음 업데이트를 이용한 지역 최적화 기법을 제안한다. 관측을 분석적으로 마진화함으로써 전역 최적성 보장은 포기하지만, 기존 방법보다 한 차례 이상 큰 차원(예: 16‑차원 상태, 6‑차원 행동)까지 확장 가능함을 시뮬레이션을 통해 입증한다.

상세 분석

이 논문은 연속적인 고차원 POMDP를 해결하기 위한 새로운 접근법을 제시한다는 점에서 학술적·실용적 의미가 크다. 기존의 POMDP 해결 방법은 주로 이산화된 belief space에 대한 전역 근사(예: 점근적 가치 반복, 파티클 필터 기반 방법)를 사용하거나, 연속 공간에서는 샘플링 기반의 Monte‑Carlo 트리 탐색(MCTS) 등을 적용한다. 그러나 차원이 증가함에 따라 샘플 수가 기하급수적으로 늘어나고, 믿음의 표현 자체가 복잡해져 실시간 적용이 어려워진다. 저자들은 이러한 문제를 “지역성(locality)”이라는 물리적·수학적 특성을 활용해 회피한다.

첫 번째 핵심은 믿음 분포를 가우시안 혼합(Gaussian Mixture Model, GMM)으로 파라미터화한 점이다. GMM은 다중 모드와 비선형 변환을 비교적 간단히 포착할 수 있어, 복잡한 관측 모델에서도 적절한 근사치를 제공한다. 두 번째 핵심은 확장 칼만 필터(Extended Kalman Filter, EKF)를 이용해 믿음 업데이트를 1차 근사로 수행한다는 점이다. EKF는 상태 전이와 관측 함수가 비선형일 때도 1차 테일러 전개를 통해 평균과 공분산을 업데이트한다. 여기서 중요한 점은 EKF가 관측을 직접 샘플링하지 않아도 관측에 대한 기대값을 analytically marginalize 할 수 있다는 것이다. 즉, “관측에 조건부”된 정책을 사전에 계산할 필요 없이, 실행 단계에서 실제 관측을 피드백 제어와 상태 추정에 통합함으로써 실시간으로 조건부 행동을 얻는다.

지역 최적화는 비선형 최적화 기법(예: L-BFGS, 순차 이차계획법)을 사용해 현재 믿음 상태에서의 단계별 비용을 최소화한다. 이는 전역 최적성을 보장하지 않지만, 고차원 연속 공간에서 “근접 최적” 해를 빠르게 찾을 수 있다는 장점이 있다. 특히, 정책을 피드백 형태(예: 선형‑이차 가우시안(LQG) 제어)로 설계하면, 실행 중 관측이 들어올 때마다 EKF가 믿음을 갱신하고, 최신 믿음에 기반한 지역 최적 제어 입력을 재계산한다. 이렇게 하면 계획 단계에서 관측을 무시했음에도 불구하고, 실행 단계에서 관측에 적절히 반응하는 “조건부” 행동을 얻을 수 있다.

실험에서는 16차원 상태와 6차원 행동을 갖는 손‑눈 협응 시뮬레이션을 사용했다. 기존의 샘플 기반 POMDP 솔버는 차원 8~10 정도에서 계산 비용이 급증해 실시간 적용이 불가능했지만, 제안된 방법은 약 30배 빠른 연산 속도로 동일한 시나리오를 해결했다. 또한, 성공률과 최종 비용 면에서도 전통적인 전역 근사 방법과 비교해 큰 손실이 없었으며, 일부 경우에는 관측 노이즈가 큰 상황에서도 견고한 성능을 보였다.

이 논문의 한계는 두 가지로 요약할 수 있다. 첫째, EKF 기반 1차 근사는 강한 비선형성이나 다중 모드가 심하게 겹치는 상황에서 정확도가 떨어질 수 있다. 둘째, 지역 최적화가 초기 믿음에 크게 의존하기 때문에, 초기화가 부적절하면 현저히 낮은 성능을 보일 위험이 있다. 향후 연구에서는 파티클 기반 비선형 필터와 결합하거나, 다중 초기화와 메타휴리스틱을 도입해 전역 탐색 능력을 보완할 여지가 있다.

전반적으로 이 논문은 “연속 고차원 POMDP를 실시간에 가깝게 해결한다”는 목표에 대해 실용적인 해결책을 제시했으며, 로봇 제어, 자율 주행, 인간‑로봇 협업 등 관측 불확실성이 큰 연속 시스템에 적용 가능성을 크게 확장시켰다.