뇌파 신호로 로봇을 가르치는 새로운 강화 학습 프레임워크

초록

기존 강화 학습은 보상 함수 설계에 의존하며, 희소 보상 환경에서 효과적인 정책 학습에 어려움을 겪습니다. 본 연구는 명시적인 인간 피드백 대신, 비침습적 뇌파(EEG) 신호, 특히 오류 관련 전위(ErrP)를 활용한 암묵적 인간 피드백(RLIHF) 프레임워크를 제안합니다. 사전 학습된 디코더가 뇌파 신호를 확률적 보상으로 변환하여, 외부 보상이 희소한 환경에서도 로봇 정책을 효과적으로 학습시킬 수 있음을 시뮬레이션 기반 픽 앤 플레이스 작업을 통해 입증했습니다.

상세 분석

본 논문이 제안하는 RLIHF(암묵적 인간 피드백을 통한 강화 학습) 프레임워크의 기술적 핵심은 두 가지로 요약됩니다. 첫째, 인간의 내적 평가 신호를 ‘오류 관련 전위(ErrP)‘라는 생리학적 반응을 통해 지속적이고 방해받지 않는 형태로 추출한다는 점입니다. 기존 RLHF가 버튼 누르기나 선호도 라벨링과 같은 명시적이고 이산적인 피드백에 의존하여 상호작용의 자연스러운 흐름을 방해했다면, RLIHF는 인간이 로봇의 오류 행동을 인지할 때 자발적으로 발생하는 ErrP 신호를 실시간으로 디코딩합니다. 이를 위해 경량 합성곱 신경망인 EEGNet을 사용하여 뇌파 세그먼트를 입력받아 오류 발생 확률(p_ErrP)을 출력하는 분류기를 구축했습니다.

둘째, 이렇게 얻은 연속적인 신호를 강화 학습 보상 함수에 효과적으로 통합한 점입니다. 논문에서는 r_ErrP = 1 - p_ErrP 공식을 통해 오류 확률을 스칼라 보상으로 변환합니다. 높은 오류 확률(인간이 불만족)은 낮은 보상을, 낮은 오류 확률(인간이 만족)은 높은 보상을 의미하게 되어, 로봇 에이전트는 인간의 내적 평가에 맞춰 행동을 점진적으로 조정할 수 있습니다. 이 보상은 외부 환경의 희소 보상(예: 작업 성공/충돌)과 결합되어 사용됩니다.

학습 알고리즘으로는 샘플 효율성이 높고 연속 행동 공간에 강력한 오프-폴리시 알고리즘인 Soft Actor-Critic(SAC)을 채택했습니다. 이는 불완전할 수 있는 뇌파 디코더의 잡음에 대한 강건성과, 재생 버퍼를 통해珍贵的한 인간 피드백 데이터를 재사용할 수 있는 장점을 동시에 살리기 위한 선택입니다.

실험 결과에서 주목할 점은, 12명의 피실험자 데이터를 기반으로 한 LOSO 평가에서 디코더 정확도에 개인차가 컸음에도 불구하고, RLIHF로 학습된 에이전트가 희소 보상 기반 학습을 크게 능가하고 공학적으로 설계된 조밀한 보상을 사용한 에이전트와 유사한 성능에 도달했다는 것입니다. 이는 완벽하지 않은 생체 신호 디코더라도 충분히 유익한 보상 신호를 생성할 수 있음을 시사하며, 방법론의 실용적 잠재력을 강력하게 뒷받침합니다. 이는 단순한 오류 감지를 넘어, 인간이 선호하는 ‘안전 거리 유지’와 같은 미묘한 공간적 선호도를 로봇이 학습할 수 있는 길을 열어준다는 점에서 의미가 큽니다.