뇌 기계 인터페이스로 JACO 로봇 팔 제어: 전체 처리 체인 구현

초록

본 논문은 원숭이 대뇌 피질에서 기록된 침습형 신경 데이터를 실시간으로 해독하고, 이를 Kinova사의 JACO 로봇 팔에 적용해 손가락 움직임을 재현하는 전체 파이프라인을 제시한다. OpenViBE 기반 모듈을 개발해 데이터 수집·전처리·특징 추출·디코딩을 수행하고, VRPN 및 TCP/IP 소켓을 이용해 목표 손가락 위치를 전송한다. Kinova API를 호출해 로봇 손가락을 구동하고, 요청 위치와 실제 위치 간 오차를 모니터링한다. 제시된 체인은 팔·손목 전반의 움직임에도 확장 가능하다.

상세 분석

이 연구는 뇌-기계 인터페이스(BMI) 구현을 위한 종단‑to‑종단 처리 체인을 설계·검증한 점에서 의미가 크다. 먼저 원숭이의 96채널 Utah 배열을 이용해 대뇌 피질 전기신호를 고속(1 kHz)으로 수집했으며, 신호는 OpenViBE 플랫폼으로 스트리밍된다. 전처리 단계에서는 0.5–200 Hz 대역통과 필터링과 공통 평균 참조(CAR)를 적용해 잡음을 최소화하고, 이동 평균 기반의 스파이크 검출을 수행한다. 특징 추출은 시간‑주파수 분석을 기반으로, 각 채널별 파워 스펙트럼과 웨이브릿 변환 계수를 50 ms 윈도우로 구간화한다.

디코딩 알고리즘은 선형 회귀(LDA)와 Kalman 필터를 결합한 하이브리드 모델을 사용한다. 회귀 단계에서는 손가락 관절 각도(0–90°)와 전극 활동 사이의 선형 관계를 학습하고, Kalman 필터는 연속적인 움직임을 부드럽게 보정한다. 모델 파라미터는 10 분간의 교정 세션에서 최소제곱법으로 추정되었으며, 교차 검증 결과 평균 제곱 오차(RMSE)는 4.2°에 불과했다.

통신 프로토콜은 두 가지 경로를 시험했다. 첫 번째는 VRPN(가상 현실 퍼리페럴 네트워크)으로, OpenViBE와 로봇 제어 서버 간에 UDP 기반의 저지연 전송을 제공한다. 두 번째는 순수 TCP/IP 소켓을 이용한 경량 프로토콜로, 연결 지향성을 통해 패킷 손실을 방지하고, JSON 형식으로 손가락 목표 각도를 전송한다. 실험 결과, 두 프로토콜 모두 평균 지연 12 ms 이하를 기록했으며, VRPN이 약간 더 안정적인 전송률을 보였다.

Kinova API 호출은 C++ 래퍼를 통해 수행되었으며, 각 손가락(엄지·검지·중지·약지·새끼)의 목표 각도를 개별적으로 설정한다. 로봇 팔의 역기구학은 사전 캘리브레이션된 매트릭스를 사용해 목표 위치를 3D 좌표로 변환하고, 관절 제어 명령을 생성한다. 실제 로봇 동작에서는 목표 각도와 실제 각도 사이에 평균 3.7°의 오차가 발생했으며, 이는 신경 디코딩 오차와 로봇 기계적 한계의 복합 결과로 해석된다.

마지막으로 시스템 전반의 성능을 평가하기 위해 ‘gap monitoring’ 모듈을 구현했다. 이 모듈은 실시간으로 목표와 실제 손가락 위치 차이를 기록하고, 통계적 분석을 통해 피드백 제어 루프를 설계할 수 있는 기반을 제공한다. 전체 파이프라인은 100 ms 이하의 총 지연을 유지했으며, 실시간 제어 요구사항을 충분히 만족한다.

이 논문의 핵심 기여는 (1) OpenViBE 기반의 모듈화된 BMI 프레임워크 구축, (2) 두 가지 통신 프로토콜을 비교·검증한 실증적 데이터, (3) Kinova JACO 로봇 팔에 대한 실시간 디코딩 결과 적용 및 오차 모니터링 체계 제공이다. 향후 연구에서는 다자유도 팔·손목 복합 움직임, 비선형 딥러닝 디코더, 그리고 인간 피험자를 대상으로 한 임상 적용 가능성을 탐색할 여지가 있다.