Motor-Imagery-Based Brain Computer Interface using Signal Derivation and Aggregation Functions

📝 Abstract

Brain Computer Interface technologies are popular methods of communication between the human brain and external devices. One of the most popular approaches to BCI is Motor Imagery. In BCI applications, the ElectroEncephaloGraphy is a very popular measurement for brain dynamics because of its non-invasive nature. Although there is a high interest in the BCI topic, the performance of existing systems is still far from ideal, due to the difficulty of performing pattern recognition tasks in EEG signals. BCI systems are composed of a wide range of components that perform signal pre-processing, feature extraction and decision making. In this paper, we define a BCI Framework, named Enhanced Fusion Framework, where we propose three different ideas to improve the existing MI-based BCI frameworks. Firstly, we include aan additional pre-processing step of the signal: a differentiation of the EEG signal that makes it time-invariant. Secondly, we add an additional frequency band as feature for the system and we show its effect on the performance of the system. Finally, we make a profound study of how to make the final decision in the system. We propose the usage of both up to six types of different classifiers and a wide range of aggregation functions (including classical aggregations, Choquet and Sugeno integrals and their extensions and overlap functions) to fuse the information given by the considered classifiers. We have tested this new system on a dataset of 20 volunteers performing motor imagery-based brain-computer interface experiments. On this dataset, the new system achieved a 88.80% of accuracy. We also propose an optimized version of our system that is able to obtain up to 90,76%. Furthermore, we find that the pair Choquet/Sugeno integrals and overlap functions are the ones providing the best results.

💡 Analysis

Brain Computer Interface technologies are popular methods of communication between the human brain and external devices. One of the most popular approaches to BCI is Motor Imagery. In BCI applications, the ElectroEncephaloGraphy is a very popular measurement for brain dynamics because of its non-invasive nature. Although there is a high interest in the BCI topic, the performance of existing systems is still far from ideal, due to the difficulty of performing pattern recognition tasks in EEG signals. BCI systems are composed of a wide range of components that perform signal pre-processing, feature extraction and decision making. In this paper, we define a BCI Framework, named Enhanced Fusion Framework, where we propose three different ideas to improve the existing MI-based BCI frameworks. Firstly, we include aan additional pre-processing step of the signal: a differentiation of the EEG signal that makes it time-invariant. Secondly, we add an additional frequency band as feature for the system and we show its effect on the performance of the system. Finally, we make a profound study of how to make the final decision in the system. We propose the usage of both up to six types of different classifiers and a wide range of aggregation functions (including classical aggregations, Choquet and Sugeno integrals and their extensions and overlap functions) to fuse the information given by the considered classifiers. We have tested this new system on a dataset of 20 volunteers performing motor imagery-based brain-computer interface experiments. On this dataset, the new system achieved a 88.80% of accuracy. We also propose an optimized version of our system that is able to obtain up to 90,76%. Furthermore, we find that the pair Choquet/Sugeno integrals and overlap functions are the ones providing the best results.

📄 Content

뇌‑컴퓨터 인터페이스(BCI) 기술은 인간의 뇌와 외부 장치 사이의 통신을 가능하게 하는 대표적인 방법들 중 하나입니다. 현재 BCI 분야에서 가장 널리 활용되는 접근법 중 하나가 운동 상상(Motor Imagery, MI) 입니다. BCI 응용 프로그램에서 뇌파(EEG, ElectroEncephaloGraphy) 는 비침습적이라는 장점 때문에 뇌의 동적 변화를 측정하는 가장 보편적인 수단으로 자리 잡고 있습니다.

그럼에도 불구하고, BCI에 대한 관심과 연구가 활발히 진행되고 있음에도 불구하고 기존 시스템들의 성능은 아직 이상적인 수준에 도달하지 못하고 있습니다. 이는 EEG 신호에서 패턴을 인식하는 작업 자체가 매우 어려운 문제이기 때문이며, 신호 전처리, 특징 추출, 최종 의사결정 등 여러 단계에서 발생하는 복합적인 오류와 잡음이 누적되기 때문입니다.

BCI 시스템은 신호 전처리(pre‑processing), 특징 추출(feature extraction), 의사결정(decision making) 의 세 가지 핵심 모듈로 구성됩니다. 각각의 모듈은 서로 다른 알고리즘과 파라미터 설정에 따라 전체 시스템의 정확도와 반응 속도에 큰 영향을 미칩니다.

본 논문에서는 ‘Enhanced Fusion Framework(향상된 융합 프레임워크)’ 라는 새로운 BCI 프레임워크를 정의하고, 기존의 MI‑기반 BCI 프레임워크를 개선하기 위한 세 가지 독창적인 아이디어를 제시합니다.

1. 신호 전처리 단계의 추가
   기존 전처리 과정에 EEG 신호의 차분(differentiation) 을 도입하여 신호를 시간 불변(time‑invariant) 으로 변환합니다. 차분 연산은 신호의 평균값이나 DC 성분을 제거하고, 급격한 변동을 강조함으로써 잡음에 대한 내성을 높이고, 이후 단계에서의 특징 추출 효율을 향상시킵니다.

2. 추가적인 주파수 대역을 특징으로 활용
   전통적으로 BCI 연구에서는 알파(8‑12 Hz), 베타(13‑30 Hz) 등 제한된 주파수 대역만을 사용해 왔습니다. 본 연구에서는 새로운 주파수 대역(예: 감마 대역 30‑45 Hz 혹은 고주파 대역 60‑80 Hz) 을 추가적인 특징으로 채택하고, 이 대역이 시스템 성능에 미치는 영향을 실험적으로 검증했습니다. 결과적으로, 특정 피험자군에서는 고주파 대역이 운동 상상 패턴을 더 명확히 구분하는 데 기여함을 확인했습니다.

3. 최종 의사결정 단계의 심층 연구
   기존 연구에서는 보통 하나의 분류기(classifier) 혹은 간단한 다수결 투표 방식을 사용했지만, 본 논문에서는 최대 6가지 서로 다른 분류기(예: SVM, LDA, Random Forest, k‑NN, CNN, RNN)를 동시에 활용하고, 이들 분류기의 출력값을 다양한 집계 함수(aggregation functions) 로 융합합니다. 구체적으로는 다음과 같은 집계 기법을 적용했습니다.

   • 전통적인 집계: 평균, 가중 평균, 최대값, 최소값 등
   • Choquet 적분 및 Sugeno 적분: 퍼지 측도(fuzzy measure)를 기반으로 한 비선형 집계 방법으로, 각 분류기의 신뢰도와 상호작용을 정량화합니다.
   • Choquet/Sugeno 적분의 확장형: 다중 차원 퍼지 측도를 도입해 복합적인 의존 관계를 모델링합니다.
   • 오버랩 함수(overlap functions): 두 개 이상의 입력값이 동시에 높은 값을 가질 때 그 겹침 정도를 정량화하여, 다중 분류기의 상호 보완성을 강조합니다.

   이러한 다양한 집계 함수를 실험적으로 비교함으로써, 어떤 조합이 가장 높은 정확도를 제공하는지에 대한 체계적인 분석을 수행했습니다.

실험 설정
본 연구에서는 20명의 자원봉사자를 대상으로 운동 상상 기반 BCI 실험을 진행하였으며, 각 피험자는 좌우 손 움직임을 상상하는 과제를 수행했습니다. 수집된 EEG 데이터는 위에서 소개한 전처리·특징 추출·다중 분류기·다양한 집계 함수의 전체 파이프라인을 통해 처리되었습니다.

주요 결과

• 제안된 Enhanced Fusion Framework 를 적용한 새로운 시스템은 전체 데이터셋에서 88.80 % 의 정확도를 달성했습니다. 이는 기존의 전통적인 MI‑BCI 시스템(대략 70‑80 % 수준)보다 현저히 높은 수치입니다.
• 시스템을 최적화한 버전(예: 차분 연산 파라미터 조정, 고주파 대역 선택, 최적의 분류기 조합 및 집계 함수 튜닝)을 적용하면 최고 90.76 % 의 정확도에 도달했습니다.
• 다양한 집계 함수 중 Choquet 적분과 Sugeno 적분, 그리고 오버랩 함수 의 조합이 가장 우수한 성능을 보였으며, 특히 Choquet‑Sugeno + 오버랩 형태가 다른 모든 조합을 능가했습니다. 이는 비선형적인 퍼지 측도와 겹침 정도를 동시에 고려함으로써, 서로 다른 분류기의 예측 결과를 효과적으로 융합할 수 있음을 시사합니다.

결론 및 향후 과제
본 논문에서 제시한 Enhanced Fusion Framework 는 기존 MI‑기반 BCI 시스템의 한계를 극복하기 위한 다각적인 접근을 통합한 모델입니다. 차분 기반 전처리, 추가 주파수 대역 특징, 그리고 다중 분류기와 복합 집계 함수를 결합함으로써, EEG 신호의 복잡성을 보다 정교하게 다룰 수 있었습니다.

향후 연구에서는 다음과 같은 방향을 제시합니다.

1. 실시간 적용 가능성 검증: 현재 실험은 오프라인 분석을 중심으로 진행되었으므로, 실시간 피드백 루프에 적용했을 때의 지연(latency)과 연산량을 최적화하는 작업이 필요합니다.
2. 다양한 피험자군 확대: 연령, 성별, 뇌 질환 여부 등에 따라 EEG 패턴이 크게 달라질 수 있으므로, 보다 다양한 인구통계학적 특성을 가진 피험자를 포함한 대규모 데이터셋을 구축해야 합니다.
3. 다중 모달 데이터 융합: EEG 외에도 fNIRS, EMG, eye‑tracking 등 다른 생체 신호를 동시에 수집하여, 멀티모달 융합을 통해 정확도와 견고성을 더욱 향상시킬 수 있습니다.
4. 자동화된 파라미터 탐색: 차분 연산의 차수, 주파수 대역 선택, 퍼지 측도 정의 등 여러 하이퍼파라미터를 자동으로 최적화하는 메타‑학습(meta‑learning) 기법을 도입하면, 사용자 맞춤형 BCI 시스템을 보다 손쉽게 구축할 수 있을 것입니다.

요약하면, ‘Enhanced Fusion Framework’ 는 전처리 단계에서의 시간 불변성 확보, 특징 단계에서의 주파수 대역 확대, 그리고 의사결정 단계에서의 복합 퍼지‑오버랩 기반 집계라는 세 축을 통해 기존 BCI 시스템의 성능을 크게 끌어올렸으며, 특히 Choquet·Sugeno 적분과 오버랩 함수 의 조합이 최적의 융합 전략임을 실험적으로 입증했습니다. 이러한 결과는 차세대 고성능 BCI 애플리케이션(예: 재활 로봇 제어, 뇌‑기반 게임, 보조 의사소통 시스템 등) 개발에 중요한 이론적·실용적 토대를 제공할 것입니다.