인간 시연·수정 입력에서 가설공간 오정합성 정량화

초록

본 논문은 로봇이 인간의 시연이나 물리적 교정 입력을 통해 목표 함수를 학습할 때, 로봇이 사전에 정의한 가설공간이 실제 인간의 의도를 충분히 포괄하지 못하는 경우를 정량적으로 판단하는 프레임워크를 제시한다. 베이지안 추론을 이용해 “상황적 신뢰도(β)”를 계산하고, 이를 통해 가설공간의 미스스펙을 감지하고 학습에 반영한다. 7자유도 로봇 팔 실험과 사용자 연구를 통해 방법의 유효성을 입증한다.

상세 분석

이 연구는 인간‑로봇 상호작용에서 가장 근본적인 가정인 “인간이 원하는 목표가 로봇의 가설공간 안에 존재한다”는 전제를 비판한다. 기존의 IRL(역강화학습)이나 베이지안 IRL은 인간 입력을 관측하여 가장 가능성 높은 가설을 선택하지만, 가설 자체가 인간 의도를 포괄하지 못하면 잘못된 추론을 낳는다. 논문은 이를 해결하기 위해 두 단계의 확률 모델을 도입한다. 첫 번째는 기존과 동일하게 P(u_H | θ) 형태의 인간 행동 모델이며, 두 번째는 모든 θ에 대해 관측된 인간 입력이 얼마나 ‘예상 가능성’이 낮은지를 측정하는 상황적 신뢰도 β를 정의한다. β는 전체 가설공간에 대한 평균 우도(Likelihood)의 역수 형태로 계산되며, β가 낮을 경우 로봇은 현재 가설공간이 인간 의도를 설명하지 못한다는 신호를 받는다.

프레임워크는 두 종류의 인간 입력에 적용된다. (1) 시연 학습에서는 인간이 제공한 전체 궤적을 기반으로 비용 함수 파라미터 θ를 베이지안 업데이트하고, 동시에 β를 추정한다. 시연이 가설공간 밖의 특성을 포함하면 β가 급격히 감소한다. (2) 물리적 교정 학습에서는 실시간으로 인간이 로봇의 실행 중에 가하는 힘/위치 교정을 관측하고, 칼만 필터와 유사한 온라인 업데이트를 통해 θ와 β를 동시에 추정한다. 여기서 β는 교정이 기존 가설에 부합하는 정도를 나타내며, 낮은 β는 로봇이 현재 모델로는 교정을 설명할 수 없음을 의미한다.

실험에서는 7‑DoF 로봇 팔을 사용해 두 가지 시나리오를 설정했다. 첫 번째는 인간이 테이블과의 거리를 최소화하고 싶지만, 로봇의 가설공간에 ‘거리’ 특성이 포함되지 않은 경우이다. β가 낮게 측정되어 로봇이 인간 의도를 파악하지 못함을 확인했다. 두 번째는 물리적 교정 실험으로, 사용자가 로봇이 물체를 잡는 높이를 조정했을 때, 로봇이 기존 가설(높이와 속도만 고려)으로는 설명이 부족함을 β가 낮게 나타냈다.

또한 사용자 연구에서는 12명의 피험자가 로봇에게 시연과 교정을 제공했으며, β가 높은 경우 로봇이 빠르게 정확한 목표를 학습했지만, β가 낮은 경우 로봇이 학습을 중단하거나 추가 정보를 요구하는 행동을 보였다. 이는 상황적 신뢰도가 실제 인간‑로봇 협업 효율을 향상시킬 수 있음을 실증한다.

한계점으로는 현재 실험이 저차원 파라미터(선형 비용 가중치)와 제한된 작업에만 적용됐으며, 고차원 신경망 기반 가설공간에서는 β 계산이 복잡해질 수 있다. 또한, 인간이 의도적으로 가설공간 밖의 요구를 반복적으로 제공하면 β가 지속적으로 낮아져 로봇이 ‘노이즈’와 ‘미스스펙’을 구분하기 어려워진다. 향후 연구에서는 다양한 피드백 유형(선호도 비교, 언어 명령 등)과 다중 가설공간을 동적으로 확장·축소하는 메커니즘을 탐구할 필요가 있다.