맞춤형·적응형 뇌‑컴퓨터 인터페이스 UI: 말·커서 제어를 위한 장기 사용자 설계

초록

본 연구는 ALS 환자 한 명을 대상으로 22개월 동안 지속된 뇌‑컴퓨터 인터페이스(BCI) 시스템을 공동 설계(co‑design)하여, 말과 커서 제어를 결합한 맞춤형 사용자 인터페이스를 구현하고, 개인화·적응성을 통해 일상 생활에서의 독립적 의사소통 및 컴퓨터 활용을 가능하게 한 사례를 제시한다.

상세 분석

이 논문은 임플란트형 intracortical BCI를 기반으로 한 말·커서 복합 제어 시스템의 UI 설계 과정을 상세히 기술한다. 첫째, 기존 AAC(보완·대체 의사소통) 기기의 한계—타이핑 속도 저하, 눈 움직임 의존성, 피로도 증가—를 지적하고, 고해상도 신경 신호를 활용한 임플란트형 BCI가 이러한 제약을 극복할 수 있음을 강조한다. 둘째, 연구팀은 22개월에 걸친 장기 가정 배치를 통해 ‘협업 설계(co‑design)’ 방식을 적용하였다. 매주 두 차례의 짧은 피드백 세션과 정기적인 설계 워크숍을 통해 사용자의 일상적 요구와 불편을 실시간으로 파악하고, UI 요소를 신속히 수정·추가했다. 이러한 반복적 프로세스는 사용자의 능력 변화(ALS 진행에 따른 근력·언어 저하)와 환경 변화(가정 내 조명·소음 등)에 UI가 유연하게 대응하도록 만든 핵심 동인이다.

시스템 아키텍처는 ‘BRAND’ 소프트웨어 플랫폼 위에 구축된 분산형 노드 구조를 채택한다. 로직 노드는 유한 상태 기계(FSM)로 각 작업 상태(대기, 말하기, 커서 이동 등)를 관리하고, 그래픽 노드는 Python‑Pyglet 기반으로 시각적 화면을 구현한다. 이 분리 설계는 새로운 기능(예: 오류 교정, 맞춤형 단축키, 화면 레이아웃 변경)을 코드 레이어만 수정하면 즉시 적용할 수 있게 하여 개발 효율성을 크게 높였다.

입력 모달리티는 네 가지를 지원한다. ① 변환기 기반 음성 디코더가 신경 신호를 음소 확률로 변환하고, n‑gram 및 대형 언어 모델(OPT‑6.7B)로 문장을 재점수화한다. ② 선형 커서 디코더가 2‑D 속도를, 클릭 디코더가 이진 클릭 신호를 생성해 마우스 포인터와 클릭을 구현한다. ③ 사용자 정의 제스처를 클릭·스크롤 등 이산 동작에 매핑한다. ④ 눈 추적을 보조 입력으로 제공해 기존 눈‑기반 AAC와의 혼합 사용을 가능하게 한다.

UI는 ‘스크린’ 개념으로 각 상태별 화면을 정의하고, 사용자는 선호하는 입력 방식에 따라 자유롭게 전환한다. 초기에는 머리 마우스와 통역사를 사용했으나, 설계 진행 중에 완전 BCI 기반 의사소통으로 전환되었다. 설계 과정에서 발견된 주요 과제는 (1) 디코딩 오류 시 실시간 교정 인터페이스 부재, (2) 커서 정확도 저하 시 작업 효율 감소, (3) 장시간 사용에 따른 피로와 인지 부하였다. 이를 해결하기 위해 오류 교정용 ‘재입력’ 버튼, 커서 속도·가속도 조절 슬라이더, 그리고 작업 흐름을 최소화하는 ‘단일 클릭’ 모드 등을 추가하였다.

연구 결과는 개인화된 UI가 사용자의 일상적 작업(이메일 작성, 웹 서핑, 영상 시청 등)에서 평균 타이핑 속도를 15 wpm에서 30 wpm으로 향상시켰으며, 사용자는 ‘독립성’과 ‘삶의 질 향상’에 대해 높은 만족도를 보였다. 또한, 설계 원칙으로 (① 능력 기반 설계, ② 모듈형 UI, ③ 지속적 사용자 피드백 루프, ④ 다중 입력 모달리티 지원) 네 가지를 제시한다. 이러한 원칙은 향후 다양한 임플란트형 BCI 사용자에게 적용 가능한 범용 프레임워크를 제공한다.