확률적 관계 규칙으로 배우는 스토캐스틱 세계 모델링

초록

본 논문은 물리 기반 3D 블록 세계와 전통적인 블록 스택 문제에서, 잡음과 비결정성을 포함한 행동 효과를 compact하게 표현하는 확률적 관계 규칙 표현법을 제안하고, 이를 지도 학습으로 자동 학습하는 알고리즘을 설계한다. 실험을 통해 학습된 규칙이 계획에 활용될 때, 에이전트가 현실적인 물리 엔진을 가진 환경에서도 효과적으로 목표를 달성함을 보인다.

상세 분석

이 연구는 기존의 결정론적 혹은 단순 확률적 플래닝 모델이 다루기 어려운 ‘노이즈·비결정성·복합 물리’를 가진 도메인을 목표로 한다. 핵심 기여는 세 가지 측면에서 드러난다. 첫째, 행동 규칙을 관계적(first‑order) 구조로 유지하면서도, 행동 파라미터에 명시되지 않은 객체를 다루기 위해 deictic reference(지시적 변수)를 도입한다. 이는 “그 아래에 있는 물체”, “현재 잡고 있는 물체” 등 행동 수행 시 동적으로 결정되는 대상들을 논리식에 포함시켜, 파라미터화된 액션이 주변 환경에 미치는 영향을 자연스럽게 모델링한다. 둘째, 전통적인 **프레임 가정(frame assumption)**을 완화하고, 드물게 발생하거나 복잡한 변화를 ‘노이즈’로 취급하는 노이즈 모델을 규칙에 부착한다. 이를 통해 학습 알고리즘이 모든 가능한 결과를 완전히 설명하려는 과도한 복잡성을 피하고, 실제 물리 시뮬레이션에서 관찰되는 예외적인 현상을 적절히 무시한다. 셋째, 기존에 고정된 프리디케이트 집합에 의존하던 방식을 넘어 개념 학습(concept learning) 메커니즘을 포함한다. 예를 들어, “스택 높이”, “최상위 블록” 등 복합적인 관계를 새로운 프리디케이트로 정의하고, 이를 학습 과정에서 자동으로 생성한다. 이러한 확장 덕분에 블록 크기·색상·무게 등 다양한 속성이 결합된 현실적인 도메인에서도 충분히 표현력을 유지한다.

학습 알고리즘 자체는 베이즈적 점수 함수(가능도와 모델 복잡도 사이의 트레이드오프)를 최적화한다. 구체적으로, 후보 규칙 집합을 탐색하면서 각 규칙의 파라미터(조건부 확률)를 최대우도 추정하고, 규칙 수와 리터럴 수에 대한 페널티를 부과한다. 이 과정은 그리디 구조 탐색과 EM‑like 파라미터 재추정을 교번함으로써, 연산량을 제한하면서도 전역 최적에 근접한 해를 찾는다.

실험에서는 두 가지 환경을 사용한다. (1) 전통적인 2‑D 블록 스택 도메인에서, 학습된 규칙이 기존 PDDL 기반 플래너와 동등하거나 더 높은 성공률을 보였다. (2) ODE 물리 엔진을 이용한 3‑D 블록 시뮬레이션에서는, 블록 크기·무게·마찰 등 물리적 변수가 다양하게 변함에도 불구하고, 학습된 규칙이 실제 시뮬레이션 결과와 높은 KL‑divergence 일치를 보이며, 플래너가 목표 상태(예: 특정 블록을 특정 위치에 놓기)를 성공적으로 달성했다. 특히, 노이즈 모델을 사용하지 않은 경우와 비교했을 때, 계획 실패율이 30% 이상 감소하는 효과가 관찰되었다.

이 논문은 관계적 확률 모델과 자동 개념 학습을 결합함으로써, 복잡하고 잡음이 많은 물리 환경에서도 효율적인 모델 학습과 플래닝을 가능하게 만든다는 점에서 의미가 크다. 또한, 전통적인 플래닝 언어(PDDL)와의 호환성을 유지하면서도, 실제 로봇 시스템에 적용 가능한 형태로 확장 가능함을 보여준다. 향후 연구로는 부분 관측(partially observable) 상황에 대한 확장, 온라인 학습 및 다중 에이전트 협업 모델링 등이 제시된다.