영상 재계획을 통한 암시적 상태 추정

초록

본 논문은 영상 기반 플래닝 시스템에 실시간 상호작용 데이터를 통합하여, 명시적 상태 변수 없이도 환경의 숨겨진 물리적 파라미터를 암시적으로 추정하고, 실패한 계획을 필터링함으로써 재계획 성능을 크게 향상시키는 프레임워크를 제안한다.

상세 분석

이 연구는 기존 영상 플래닝이 첫 프레임만을 입력으로 사용하고, 실행 중 발생하는 실패 정보를 활용하지 못한다는 근본적인 한계를 지적한다. 저자들은 “암시적 상태 추정(Implicit State Estimation, ISE)”이라는 개념을 도입해, 인터랙션 시점에 얻은 비디오와 성공/실패 라벨을 이용해 객체별 잠재 물리 파라미터를 나타내는 상태 임베딩을 온라인으로 업데이트한다. 핵심 아이디어는 두 가지 버퍼—실패한 플랜 버퍼와 실패한 인터랙션 버퍼—를 유지하면서, 새로운 플랜을 생성할 때 이 버퍼에 저장된 실패 사례와의 유사성을 최소화하도록 플랜을 선택하는 ‘플랜 거부(Rejection) 모듈’이다.

상태 임베딩은 사전 수집된 경험 데이터셋 D에서 각 객체 ID별로 하나의 대표 임베딩을 추출하고, 테스트 시점에 현재 인터랙션 비디오와의 거리 기반 확률 분포를 통해 샘플링한다. 여기서 거리 계산은 L2 노름을 사용하고, 소프트맥스 온도 파라미터 τ로 스케일링한다. 단순 거리 기반 검색만으로는 잡음이나 다중 가능성에 취약하므로, 저자들은 동일 파라미터를 공유하는 ‘생성적 식별 모듈’을 도입해 임베딩을 미세 조정한다. 이 모듈은 성공·실패 모두를 생성하도록 학습돼, 테스트 시점에 가중치를 고정한 채 최적화 절차를 통해 현재 임베딩을 보정한다.

플랜 생성은 첫 프레임 f₀와 최신 상태 임베딩 e를 조건으로 비디오 플랜 제너레이터가 다수의 후보 비디오 시퀀스를 출력한다. 거부 모듈은 후보 중 실패 플랜 버퍼와 가장 낮은 유사도를 보이는 플랜을 선택하고, 선택된 플랜은 액션 모듈을 통해 로봇 행동으로 변환된다. 여기서는 사전 학습된 역동역학 모델이나 목표 조건 정책, 혹은 점 추적 기반 컨트롤러가 사용될 수 있다. 실행 결과가 성공이면 플랜 버퍼는 유지되고, 실패하면 해당 플랜과 인터랙션 비디오가 각각의 버퍼에 추가된다. 이렇게 순환적인 업데이트 과정을 통해 시스템은 점진적으로 숨겨진 파라미터에 대한 내부 가설을 정교화하고, 재계획 시 불필요한 반복을 방지한다.

실험은 Meta‑World 기반의 새로운 조작 벤치마크에서 수행되었으며, 기존 비디오 플래닝, 강화학습, 그리고 명시적 시스템 식별 방법과 비교했다. 결과는 ISE가 재계획 실패율을 크게 낮추고, 성공적인 비디오 플랜의 정확도를 향상시켰음을 보여준다. 특히 파라미터가 완전히 미지인 상황에서도 사전 시뮬레이션 없이 온라인으로 적응하는 능력이 강조된다. 이 논문은 영상 기반 로봇 플래닝에 불확실성 처리와 온라인 학습을 자연스럽게 결합한 최초의 시도 중 하나이며, 향후 외부 환경 변화에 강인한 로봇 시스템 설계에 중요한 방향성을 제시한다.