그래프 모델 추론으로 푸는 최적 제어

초록

본 논문은 토도로프가 제시한 비선형 확률적 최적 제어 문제를 Kullback‑Leibler(KL) 최소화 형태로 재구성한다. 이를 통해 최적 제어 계산을 그래프 기반 추론 문제로 전환하고, 변분 베이지안 추론 기법을 이용해 근사 해를 효율적으로 얻는다. 블록 적재와 다중 에이전트 협동 게임 사례를 통해 정확 해가 불가능한 상황에서도 근사 추론이 실용적임을 입증한다.

상세 분석

논문은 먼저 기존의 비선형 확률적 최적 제어 프레임워크를 검토하고, 제어 정책을 확률적 전이 확률과 비용 함수의 조합으로 표현한다. 토도로프(2007)의 “KL 제어” 아이디어를 확장하여, 전체 경로 확률 분포와 목표 분포 사이의 KL 발산을 최소화하는 문제로 변환한다. 이 변환은 제어 입력을 직접 최적화하는 대신, 목표 분포를 정의하고 그에 맞는 전이 확률을 선택함으로써 제어 문제를 “확률적 그래프 모델”의 추론 문제로 바꾼다.

핵심 수학적 단계는 (1) 시스템 동역학을 마코프 결정 과정(MDP) 형태로 기술하고, (2) 비용을 지수화하여 “잠재 변수” 형태의 에너지 함수로 만든 뒤, (3) 이 에너지 함수를 사전 확률과 결합해 전체 경로에 대한 확률 분포를 정의한다는 것이다. 이렇게 정의된 분포는 베이지안 네트워크 혹은 팩터 그래프 형태로 표현될 수 있으며, 최적 제어는 해당 그래프에서 마진 확률을 계산하는 것과 동등해진다.

이때 KL 최소화는 실제로는 “Free Energy” 최적화와 동일시될 수 있다. 따라서 변분 베이지안 방법, 메시 패싱, 라플라시안 근사, 혹은 샘플링 기반의 파티클 필터 등 다양한 근사 추론 기법을 적용할 수 있다. 논문은 특히 변분 베이지안 방법을 이용한 “Mean‑Field” 근사를 제시하고, 이를 통해 고차원 상태·행동 공간에서도 계산 복잡도를 선형에 가깝게 유지한다.

또한, 기존의 경로 적분 제어(Path Integral Control)와의 관계를 명확히 한다. 경로 적분 제어는 연속 시간, 연속 상태·행동 시스템에서 비용을 지수화한 후 샘플링을 통해 기대값을 추정하는 방식인데, 이는 KL 제어에서 정의된 이산 그래프 모델의 특수 경우로 볼 수 있다. 즉, 연속 시간 한계에서 KL 최소화가 경로 적분 형태의 해를 제공한다는 점을 증명한다.

실험 부분에서는 두 가지 사례를 제시한다. 첫 번째는 블록을 차례대로 쌓는 로봇 팔 작업으로, 상태 공간이 2D 격자 형태이며, 목표는 특정 위치에 블록을 정확히 배치하는 것이다. 여기서는 정확한 동적 프로그래밍이 메모리와 시간 제한 때문에 불가능하지만, 변분 메시 패싱을 이용한 근사 추론이 성공적으로 최적 정책을 근사한다. 두 번째는 다중 로봇이 협력해 목표 지점을 점령하는 게임으로, 각 로봇의 행동이 서로 의존적이므로 전체 상태 공간이 급격히 폭발한다. 그래프 구조를 이용해 각 로봇을 부분 그래프로 분리하고, 협력 제약을 팩터로 삽입함으로써 분산 메시 패싱을 수행한다. 결과는 근사 정책이 실제 협동 행동을 유도하고, 수렴 속도와 성능이 기존 강화학습 기반 방법보다 우수함을 보여준다.

마지막으로 논문은 KL 제어 접근법이 다른 추론 기반 제어 방법—예를 들어, 기대값 최대화(EV) 방법, 베이지안 강화학습, 그리고 정보 이론적 제어—과 어떻게 차별화되는지를 논의한다. KL 제어는 비용을 확률 분포에 직접 매핑함으로써 “정책” 자체를 확률적 그래프의 마진으로 해석한다는 점에서 독특하며, 이는 복잡한 제약 조건이나 다중 에이전트 상호작용을 자연스럽게 모델링할 수 있게 한다.

요약하면, 이 논문은 최적 제어 문제를 그래프 기반 추론 문제로 변환함으로써, 기존 최적 제어의 계산적 한계를 극복하고, 다양한 근사 추론 기법을 활용해 실시간 혹은 대규모 시스템에 적용 가능한 프레임워크를 제시한다.