뇌-컴퓨터 인터페이스(BCI)의 광범위한 임상적 채택을 저해하는 주요 장벽은 디코딩 정확도가 아니라 효과적인 인간-컴퓨터 상호작용(HCI) 의 부재입니다. 현재 최첨단 시스템은 자주 딥러닝(DL) 기반으로 운영되며, 투명하지 않은 “오라클"처럼 작동합니다—즉, 명령을 출력하거나 침묵하며, 어떠한 설명도 제공하지 않습니다. 뇌졸중 생존자가 로봇 팔을 활성화하는 데 실패하면 그들은 추측하게 됩니다: “내가 충분히 상상했나? 주의가 산만했나? 센서가 느슨한가?” 이 피드백 루프의 부재는 신경가소성을 위한 조작적 조건화를 단절시킵니다.

HCI 전환: 디코딩에서 대화로

우리는 패러다임의 변화를 제안합니다: BCI를 디코더 이상으로 보지 않고 피드백 파트너로 간주하는 것입니다. 이상적으로, BCI는 사용자에게 내부 상태를 설명해야 합니다. OmniNeuro는 이러한 의사소통 격차를 메우기 위해 추상적인 신경학적 특성을 인간이 인식할 수 있는 피드백으로 변환하도록 설계되었습니다.

피드백 유틸리티의 형식적 정의: 우리는 디코딩 정확도(시스템 성능)와 피드백 유틸리티(사용자 지원)를 구분합니다. 피드백 유틸리티는 시스템이 사용자의 불확실성을 줄이고 신경 전략을 안정화하는 능력을 정의하며, 순간적인 분류 정확도에 독립적입니다. 이러한 정의는 OmniNeuro를 분류기와 경쟁하는 것이 아니라 재활을 위한 필수 HCI 계층으로 위치시킵니다.

OmniNeuro 패러다임

OmniNeuro는 세 개의 해석 가능 엔진을 기반으로 한 “White-Box” 아키텍처를 사용합니다:

1. 물리학(열역학): 에너지 흐름을 시각화하여 “뇌가 충분한 전력을 생성하고 있나?“라는 질문에 답합니다.

2. 혼돈 이론(복잡성): 신호의 거칠기를 측정하여 “신경망이 활발하게 계산하고 있나?“라는 질문에 답합니다.

3. 양자 영감 확률 모델링: 불확실성을 모델화하며, “시스템은 얼마나 자신있나?“라는 질문에 답합니다.

이러한 메트릭은 우리의 새로운 HCI 출력인 Neuro-Sonification(신경 상태를 음악으로 변환)과 AI 생성 임상 보고서를 구동합니다.

디코더 무관성: OmniNeuro의 주요 아키텍처적 장점 중 하나는 디코더 선택에 직교적이라는 점입니다. 해석 가능 엔진은 분류 스트림과 병렬로 작동하므로, 이 프레임워크를 컨볼루션 신경망(e.g., EEGNet), 트랜스포머 또는 리만 기하학을 기반으로 한 분류기와도 부드럽게 통합할 수 있습니다. 이를 통해 연구자는 제어를 위한 최첨단 디코더를 사용하면서 동시에 OmniNeuro에 의존하여 피드백과 설명을 받을 수 있습니다.

방법론

OmniNeuro의 핵심 혁신은 다중 피드백 생성에 대한 집중입니다.

시스템 아키텍처

파이프라인(Fig. 2)은 데이터 흐름의 투명성을 강조합니다. 특징들은 단순히 분류기에게 입력되는 것이 아니라 피드백 시스템의 어휘입니다.

해석 가능 엔진

물리학 엔진(에너지)

우리는 C3과 C4 사이의 로그 에너지 비율($`L_{idx}`$)을 계산합니다. 이는 사용자에게 그들의 정신적 노력의 강도에 대한 피드백을 제공합니다.

\begin{equation}
    L_{idx} = \ln\left(\frac{Var(X_{C4}) + \epsilon}{Var(X_{C3}) + \epsilon}\right)
\end{equation}

혼돈 엔진(복잡성)

Higuchi Fractal Dimension(HFD)은 품질을 평가합니다. 높은 복잡성은 활발한 처리를 나타내며, “정말 노력하고 있나"와 “휴식 중인가"를 구분합니다.

\begin{equation}
    \Delta HFD = HFD(C3) - HFD(C4)
\end{equation}

양자 영감 엔진(기하 확률)

결정 불확실성을 철저히 모델링하기 위해 우리는 Geometric Probability Modeling을 사용합니다. 이는 양자역학의 수학적 형식주의를 활용하며, 특히 Bloch Sphere를 사용합니다. 이를 통해 신경 상태가 Bloch Sphere 위의 상태 벡터 $`|\psi\rangle`$로 매핑되어 신뢰성에 대한 연속적인 기하학적 시각화를 제공하여 전통적인 임계치에서 발생하는 “깜빡임"을 방지합니다.

\begin{equation}
    P_{move} = |\langle 1 | \psi \rangle|^2 = \sin^2(\theta/2)
\end{equation}

왜 양자 형식주의인가? 클래식 스무딩 방법(예: 이동 평균 또는 Softmax 온도 조정)은 지연을 발생시키거나 모호성을 포착하지 못하는 반면, 양자 프레임워크는 상태의 ‘중첩’을 모델링합니다. 확률 진폭 계산에 내재된 간섭 효과는 결정 불확실성에 대해 안정적이고 제로 지연 필터로서 작용하여 표준 분류기에서 상태 전환 시 자주 발생하는 “깜빡임"을 효과적으로 줄입니다.

HCI 출력 생성

생성 AI 임상 해석기

우리는 대형 언어 모델(Gemini)을 가상 신경생리학자로 활용합니다. 이는 원시 메트릭($`L_{idx}, \Delta HFD, P_{move}`$)을 자연어 보고서(그림 7)로 생성합니다. 이는 암호화된 숫자를 “강한 의도지만 약한 측면화; 왼쪽 손을 편안하게 하세요.“와 같은 행동 지침으로 변환합니다.

안전 보호장: 환각 위험을 최소화하고 임상 안전성을 유지하기 위해 생성 출력은 엄격한 임상 프롬프트 템플릿에 의해 제약됩니다. 시스템은 “의사 참여형 작업” 워크플로우를 설계하여 진단 도구가 아니라 의사결정 지원 도구 역할을 합니다. 생성된 모든 보고서는 의료 개입 전 인간 검증이 필요합니다.

Neuro-Sonification

우리는 양자 확률($`P_{move}`$)과 혼돈 점수($`\Delta HFD`$)를 음향 매개변수(피치와 하모닉 복잡성)로 매핑합니다. 이를 통해 환자는 실시간으로 뇌 활동을 “들으며” 시각적 방해 없이 폐쇄 루프 신경 피드백을 활용할 수 있습니다. 매핑 전략은 표 1에 상세히 설명되어 있습니다.

안전 우선 피드백 프로토콜

재활을 위한 HCI에서 중요한 과제 중 하나는 “오해의 피드백” 패러독스입니다. 잘못된 피드백은 비적응적인 뇌 패턴(학습 무력증)을 강화할 수 있습니다. 이를 완화하기 위해 OmniNeuro는 양자 확률($`P_{move}`$)을 사용한 엄격한 신뢰도 임계값을 구현합니다.

시스템의 신뢰성이 모호한 영역($`0.4 < P_{move} < 0.6`$)에 속하거나 오토인코더가 중요한 아트팩트를 감지하면 시스템은 “중립/알 수 없음” 상태로 전환하여 추측하지 않습니다. 이 상태에서 음향 피드백이 조용해지고 시각 대시보드는 “신호 불명확"을 표시하며 환자에게 “편안하게 하고 다시 시도하세요.“라는 지시를 제공합니다. 이를 통해 명확한 신경 의도가 있을 때만 긍정적인 피드백이 전달되도록 하여 정밀한 강화에 중점을 둡니다.

실험 평가

우리는 N=109명의 참가자(PhysioNet 데이터셋)를 사용하여 5겹 교차 검증을 통해 시스템을 평가했습니다. 목표는 피드백 루프의 안정성과 유틸리티를 평가하는 것이었습니다.

성능 기준

표 2에 디코딩 성능을 요약합니다. 정확도(58.52%)는 클래식 베이스라인과 비교할 수 있지만, 주된 기여는 결과의 풍부성입니다.

피드백 유틸리티 분석

그림 4는 OmniNeuro가 대부분의 참가자에게 일관된 성능 향상을 제공한다는 것을 보여줍니다. 더욱 중요한 것은, OmniNeuro가 하위 대각선에 위치한 참가자(오미네로우가 열등한 경우)에서도 생성 AI 모듈이 “고 잡음” 또는 “아트팩트"를 표시하여 실패의 원인을 설명할 수 있다는 점입니다.

시뮬레이션 사용자 상호작용 분석

장기적인 인간 임상 시험이 없는 상태에서, 우리는 피드백이 학습 안정성에 미치는 잠재적 영향을 양화하기 위해 시뮬레이션 사용자 상호작용 분석을 수행했습니다. 특징 공간의 분산 감소를 사용자의 정신 전략 수렴 속도의 대리 지표로 활용했습니다. 일관되고 설명 가능한 피드백이 “시뮬레이션 에이전트”(또는 사용자)가 효과적이지 않은 전략을 더 빠르게 제거할 수 있도록 한다는 가정입니다.

우리의 분석에서 OmniNeuro로부터 설명 가능한 피드백을 받은 시험에서는 기준 조건(표준 이진 피드백)보다 14%의 교차 시험 특징 분산 감소를 보였습니다. 이러한 유의미한 감소($`p < 0.05`$)는 투명하고 실시간 피드백 루프가 안정적인 신경 패턴으로 더 빠르게 수렴하게 함으로써 BCI 교육과 관련된 “시도와 오류” 단계를 줄일 수 있음을 시사합니다.

질적 사용자 경험 (예비 연구)

정량 분석을 보완하기 위해, 우리는 OmniNeuro 피드백 시스템의 주관적인 “느낌"을 평가하기 위한 예비 질적 연구를 수행했습니다. 우리는 세 가지 다른 사용자 프로필을 대표하는 세 명의 참가자를 모집했습니다: 뇌졸중 생존자(S1), 건강한 초보자(S2), 저능력 사용자(S3).

각 참가자는 OmniNeuro를 사용하여 30분 동안 운동 상상(MI) 세션을 수행한 후, 사용성, 스트레스 관리 및 피드백 명확도에 중점을 둔 반구조화된 인터뷰를 진행했습니다.

주의: 우리는 이 N=3 표본 크기가 일반적인 임상 주장을 위한 충분하지 않다고 명시적으로 인정합니다. 이 예비 단계는 미래 대규모 시험에서 철저히 검증되어야 할 사용자 경험(UX) 디자인에 대한 가설을 생성하기 위한 것입니다.

참가자 프로필

• S1 (환자): 55세 남성, 뇌졸중 후(6개월), 오른손의 제한된 운동 기능. 동기 부여는 높지만 스트레스도 높습니다.

• S2 (초보자): 24세 대학원생, 건강함, 이전 BCI 경험 없음. 기술에 능숙합니다.

• S3 (회의론자): 30세 자원봉사자, “BCI 문맹”(역사적으로 낮은 정확도 <55%).

인터뷰 결과

포스트 세션 인터뷰의 주제 분석은 OmniNeuro 프레임워크의 세 가지 주요 이점을 밝혀냈습니다:

설명 가능한 피드백을 통한 스트레스 감소

참가자 S3, 일반적으로 성적이 좋지 않은 사람은 AI 생성 보고서의 가치를 강조했습니다. 표준 시스템에서는 분류의 부재는 “실패"로 해석됩니다. OmniNeuro에서는 보고서가 원인을 설명합니다.

“보통 화면을 바라보고 아무 일도 일어나지 않아 짜증이 납니다. 하지만 여기에서는 시스템이 ‘근육 아트팩트 감지 - 턱을 이완하세요’라고 알려주었습니다. 이를 통해 치아를 으물으는 것을 멈추자 음악이 시작되었습니다. 내가 무엇을 잘못하고 있는지를 알게 되었습니다.” – S3

Sonification: 직관적인 안내

참가자 S1(환자)은 신경 소나피케이션(음향 피드백)이 그래프보다 노력 관리에 더 유용하다고 느꼈습니다.

“소리는 가이드와 같습니다. 피치가 올라갈 때, 나는 제대로 하고 있다는 것을 알게 되어 그 느낌을 더 강하게 ‘들려’합니다. 왜곡된 소리(혼돈 노이즈)가 들릴 때는 너무 노력하고 있어서 편안하게 해야 함을 압니다. 이건 컴퓨터를 조종하는 것보다 악기를 배우는 기분입니다.” – S1

보이지 않는 것을 시각화

참가자 S2(초보자)는 양자 영감 시각화로 “휴식 중"과 “적응하지 못한 활성 상태"를 구별하는 데 훌륭하다고 평가했습니다.

“스피어 위의 벡터 시각화가 멋집니다. 커서를 움직이지 못하더라도 화살표가 약간 이동하고 있다는 것을 볼 수 있습니다. 이것이 아직 완벽하지 않지만 뇌가 무언가를 하고 있다는 희망을 줍니다.” – S2

우리의 질적 연구 결과는 정량 분석을 강화합니다: 디코더 정확도가 58% 수준에 머물렀음에도 불구하고 시스템의 인식된 유틸리티는 크게 증가했습니다. 참가자 S3의 경험은 실패 모드(예: 아트팩트)에 대한 명시적인 피드백이 학습에 더 가치 있고, ‘사용자 만족도’를 ‘디코더 정확도’에서 분리하여 장기적 준수성을 개선할 수 있음을 보여줍니다.

시스템 출력 및 다중 피드백

OmniNeuro의 진정한 가치는 그 통신 출력을 통해 입증됩니다.