자폐 아동의 감정 인식을 위한 하이브리드 딥러닝 기술

초록

NAO 로봇과 상호작용하는 자폐 스펙트럼 장애(ASD) 아동의 미세한 감정 변화를 포착하기 위해, 시각적 특징을 추출하는 ResNet-50과 기하학적 구조를 학습하는 GCN을 결합한 혁신적인 하임브리드 딥러닝 프레임워크를 제안합니다.

상세 분석

본 연구의 기술적 핵심은 안면 데이터의 ‘시각적 패턴’과 ‘구조적 움직임’을 동시에 학습하기 위한 이중 경로(Dual-stream) 아키텍처의 설계에 있습니다. 기존의 감정 인식 모델들이 주로 CNN을 이용한 픽셀 기반의 특징 추출에 의존했다면, 이 프레임워크는 ResNet-50 기반의 CNN을 통해 얼굴의 질감과 색상, 형태와 같은 고차원적 시각 특징을 추출함과 동시에, MediaPipe FaceMesh를 통해 얻은 랜드마크 데이터를 3계층 Graph Convolutional Network(GCN)에 입력합니다. 이는 안면 근육의 움직임을 그래프 구조로 모델링함으로써, 자폐 아동 특유의 미세한 표정 변화(Micro-expressions)를 기하학적 관계 측면에서 정밀하게 포착할 수 있게 합니다.

또한, 레이블링의 불확실성을 해결하기 위해 도입된 ‘소프트 레이블링(Soft-labeling)’ 전략은 매우 정교합니다. DeepFace와 FER이라는 두 가지 사전 학습된 모델을 가중 앙상블하여 감정의 확률적 분포를 생성함으로써, 단일 클래스로 정의하기 어려운 모호한 감정 상태를 모델이 학습할 수 있도록 유연성을 부여했습니다. 마지막으로, CNN의 시각적 임베딩과 GCN의 구조적 임베딩을 통합하는 과정에서 Kullback-Leibler(KL) 발산을 최적화 지표로 사용한 점은 주목할 만합니다. 이는 두 서로 다른 도메인의 특징 공간(Feature Space)을 정렬하여 정보 손실을 최소화하고, 융합된 특징 벡터가 감정 분류에 최적화된 분포를 갖도록 유도합니다. 이러한 하이브리드 접근법은 데이터의 노이즈에 강건하면서도 미세한 감정적 단서를 놓치지 않는 고도의 정밀도를 제공합니다.

자폐 스펙트럼 장애(ASD) 아동의 사회적 상호작용 능력을 향상시키기 위한 방안으로 로봇 매개 치료(Robot-Mediated Interaction, RMI)가 전 세계적으로 주목받고 있습니다. 그러나 ASD 아동은 일반 아동과 다른 비전형적인 감정 표현 양상을 보이며, 그 변화가 매우 미세하여 기존의 범용적인 감정 인식 기술로는 이를 정확히 파기 어렵다는 한계가 있었습니다. 본 연구는 이러한 난제를 해결하기 위해 NAO 휴머노이드 로봇과의 상호작용 상황에서 발생하는 아동의 감정을 정밀하게 분석할 수 있는 새로운 하이브리드 딥러닝 프레임워크를 제시합니다.

연구팀은 인도에서 진행된 실험을 통해 15명의 ASD 아동으로부터 추출된 약 50,000개의 안면 프레임으로 구성된 대규모 데이터셋을 구축하였습니다. 이 데이터셋은 로봇이 아동의 이름을 부르는 특정 사회적 자극(Name-calling event)에 반응하는 순간을 담고 있습니다. 모델의 구조는 크게 두 가지 핵심 요소로 구성됩니다. 첫째, 미세 조정된 ResNet-50 CNN을 사용하여 얼굴 이미지의 시각적 특징을 추출합니다. 둘째, MediaPipe FaceMesh를 통해 추출된 안면 랜드마크의 위치 정보를 기반으로 3계층 Graph Convolutional Network(GCN)를 운용하여, 얼굴 근육의 구조적 변화와 기하학적 관계를 학습합니다. 이러한 하이브리드 방식은 이미지의 픽셀 정보와 안면 구조의 역학적 정보를 결합하여, 자폐 아동의 미세한 감정적 단서를 포착하는 데 탁월한 성능을 발휘합니다.

학습 과정에서의 정밀도를 높이기 위한 전략도 돋보입니다. 연구진은 DeepFace와 FER 모델을 가중 앙상블하여 7가지 감정 클래스에 대한 확률적 분포를 생성하는 소프트 레이블링 기법을 도입했습니다. 이는 감정의 경계가 모호한 상황에서도 모델이 확률적으로 학습할 수 있게 하여 분류의 정확도를 높였습니다. 또한, CNN과 GCN에서 추출된 서로 다른 성격의 임베딩을 하나로 통합할 때, Kullback-Leibler(KL) 발산을 활용한 최적화 과정을 거쳐 두 특징 간의 정보 불일치를 최소화했습니다.

결론적으로, 본 연구는 자폐 아동의 감정 인식을 위한 강력하고 정교한 파이프라인을 구축하였으며, 이는 향후 개인 맞춤형 로봇 치료 및 임상적 보조 기술 개발을 위한 핵심적인 기초 자산이 될 것입니다. 특히 인도 지역에서 수행된 이 대규모 연구는 자폐 특화형 인간-로봇 상호작용(HRI) 연구 분야에 중요한 이정표를 제시하며, 향후 신경다양성(Neurodiversity)을 고려한 차세대 AI 기술 발전의 토대를 마련했습니다.