인간 시연을 활용한 내재 동기 학습 부트스트래핑

초록

본 논문은 인간 시연을 통한 사회적 학습과 내재 동기 기반 탐색을 결합한 SGIM‑D 알고리즘을 제안한다. 연속적이고 무한한 작업 공간에서 시연으로 초기 정책을 제공하고, 이후 내재 동기 메커니즘이 스스로 목표를 설정·추구하도록 하여 넓은 행동 레퍼토리를 빠르게 획득하면서도 특정 하위 공간에서는 높은 정밀도를 달성한다는 실험 결과를 제시한다.

상세 분석

SGIM‑D는 두 가지 학습 메커니즘을 계층적으로 통합한다. 최상위 레벨에서는 인간 교사가 제공하는 시연을 ‘데모 모듈’이 받아들여, 해당 시연을 목표‑행동 쌍으로 변환하고, 이를 초기 정책 파라미터와 목표 분포의 추정에 활용한다. 이 과정에서 시연은 고차원 연속 공간에서 의미 있는 샘플을 제공함으로써 탐색 초기 단계에서의 ‘희소성 문제’를 완화한다. 하위 레벨에서는 내재 동기 모듈이 ‘학습 진보’를 측정하는 내재 보상 함수를 기반으로 목표를 자동 생성한다. 구체적으로, 목표 공간을 여러 서브스페이스로 분할하고, 각 서브스페이스에서 학습 진전(예: 모델 예측 오차 감소율)이 낮은 영역을 탐색 대상으로 선정한다. 이렇게 하면 알고리즘은 이미 시연으로 충분히 학습된 영역을 빠르게 지나가고, 아직 미탐색된 영역에 집중한다.

핵심 기술적 기여는 (1) 시연 기반 초기화와 내재 동기 기반 목표 생성의 동적 전환 전략, (2) 연속적이고 비정형적인 작업 공간에서 목표‑행동 매핑을 학습하기 위한 비선형 함수 근사(예: 가우시안 프로세스 혹은 신경망)와 그에 대한 효율적인 샘플링 메커니즘, (3) 학습 진보를 정량화하기 위한 ‘학습 진전 지표(Learning Progress Indicator)’의 설계와 이를 기반으로 한 탐색 우선순위 조정이다.

실험은 ‘낚시’ 시뮬레이션 환경에서 수행되었다. 로봇 팔이 물고기를 잡기 위해 물속에 미끼를 던지는 연속적인 동작을 학습한다. 인간 시연은 몇 개의 성공적인 던지기 궤적을 제공하고, SGIM‑D는 이를 초기 정책으로 사용한다. 이후 내재 동기 모듈은 미끼의 속도·각도·힘 등 연속적인 파라미터 공간을 탐색하면서, 성공률이 낮은 파라미터 조합을 집중적으로 학습한다. 결과는 순수 내재 동기 학습, 순수 시연 학습, 그리고 SGIM‑D를 비교했을 때, SGIM‑D가 가장 빠른 수렴 속도와 가장 넓은 성공 파라미터 범위를 달성함을 보여준다. 특히, SGIM‑D는 시연으로 커버되지 않은 ‘극한’ 파라미터 영역에서도 높은 성공률을 보이며, 인간 시연이 제공하는 초기 지식과 내재 동기가 상호 보완적으로 작용함을 입증한다.

이 논문은 인간 시연이 제공하는 ‘전문가 지식’과 내재 동기가 제공하는 ‘자율 탐색’을 효과적으로 결합함으로써, 사전 정의된 목표 집합이 없는 복잡한 로봇 학습 문제에 대한 새로운 해결책을 제시한다. 또한, 시연 횟수를 최소화하면서도 학습 효율을 극대화하는 방법론을 제시함으로써, 실제 인간‑로봇 협업 시나리오에 적용 가능성을 크게 높인다.