플래닛 대규모 선호 피드백을 활용한 경로 학습 크라우드소싱 접근법

초록

**
본 논문은 인간이 많은 실내 환경에서 로봇이 따라야 할 경로에 대한 사용자 선호를 학습하기 위해, 비전문가가 짧은 영상에서 경로 구간을 ‘좋음·나쁨·보통’으로 라벨링하는 크라우드소싱 시스템 PlanIt을 설계하고, 이를 통해 얻은 약하고 잡음이 섞인 라벨을 이용해 활동별 공간 분포(affordance)를 파라미터화한 비용 함수를 학습한다. 학습된 비용 함수는 새로운 환경에서도 인간 활동을 최소 방해하는 경로를 생성한다.

**

상세 분석

**
PlanIt 논문은 로봇 경로 계획에서 “사용자 선호”라는 추상적 목표를 구체적인 비용 함수 형태로 전환하는 방법론을 제시한다. 기존 연구가 안전 거리, 충돌 회피 등 기하학적 제약에 초점을 맞추었다면, 이 연구는 인간‑물체 상호작용이라는 고차원 컨텍스트를 고려한다. 핵심 아이디어는 각 인간 활동(activity)을 공간적 확률 분포, 즉 ‘planning affordance’로 모델링하고, 이 분포를 비용 함수의 파라미터로 활용하는 것이다.

1. 활동 기반 비용 파라미터화

   • 활동을 ‘거리‑각도’와 ‘베타 분포’ 두 축으로 구분한다. 거리‑각도는 인간과 물체 사이의 상대 위치에 따라 로봇이 차지하면 안 되는 영역을 정의하고, 베타 분포는 인간‑물체 라인 상에서 로봇이 지나가면 안 되는 구간을 모델링한다.
   • 각 비용 요소는 von‑Mises(각도)와 1‑D Gaussian(거리) 혹은 Beta(라인) 형태의 확률 밀도로 표현되며, 파라미터(μ, κ, σ 등)는 데이터로부터 최대우도 추정한다.

2. 크라우드소싱 라벨링 메커니즘

   • 비전문가에게 15초 이하의 로봇 이동 영상만 제공하고, 구간을 ‘good/neutral/bad’으로 라벨링하도록 한다. 라벨은 직접적인 이유를 묻지 않으므로 ‘약한 라벨(weak label)’이라 할 수 있다.
   • 라벨링된 구간은 해당 구간에 포함된 waypoint와 연관된 활동을 잠재 변수(z)로 두고, EM‑like 알고리즘으로 라벨과 비용 파라미터를 공동 학습한다. 이는 라벨의 불확실성을 모델링하면서도 대규모 데이터를 효율적으로 활용할 수 있게 한다.

3. 학습 및 최적화

   • 전체 비용은 waypoint별 비용의 곱(또는 로그 합)으로 정의되며, 이는 경로 전체의 선호도를 정량화한다.
   • 라벨이 ‘bad’인 구간은 비용을 크게 만들도록, ‘good’ 구간은 비용을 최소화하도록 파라미터를 조정한다. 손실 함수는 라벨 간 순위 관계를 보존하는 구조화된 서포트 벡터 머신(SVM‑rank) 형태와 유사하게 설계되었다.

4. 실험 및 검증

   • 122개의 실내 환경(침실·거실)에서 OpenRAVE를 이용해 2,500여 개의 경로를 생성하고, PlanIt에 업로드하였다.
   • 학습된 비용 함수를 사용해 RRT* 기반 플래너가 새로운 환경에서 경로를 생성했을 때, 인간 평가자들이 기존 비용(예: 거리 기반)보다 선호도가 높은 경로를 선택하였다.
   • 실제 PR2 로봇에 적용한 결과, 인간 활동을 방해하지 않는 ‘사회적 친화적’ 경로를 실시간으로 생성할 수 있음을 보였다.

5. 의의와 한계

   • 비전문가 크라우드소싱을 통해 대규모 선호 데이터를 확보함으로써, 비용 함수 설계에 인간의 직관을 직접 반영할 수 있었다. 이는 비용 함수를 전문가가 일일이 설계하는 전통적 방법보다 확장성이 크다.
   • 그러나 라벨이 약하고 잡음이 섞여 있기 때문에, 학습 과정에서 잠재 변수 추정이 불안정할 가능성이 있다. 또한 현재는 2‑D 이동 경로에 초점을 맞추었으며, 고차원 조작 경로나 동적 인간 행동 예측과의 통합은 향후 과제로 남는다.

**