알츠하이머 말하기 감정 코퍼스 DementiaBank‑Emotion 발표

초록

본 논문은 알츠하이머병(AD) 환자와 정상 성인의 대화 발화를 1,492개 수집·다중 평가자(Ekman 6가지 기본 감정+중립)로 라벨링한 최초의 감정 코퍼스인 DementiaBank‑Emotion(v1.0)을 공개한다. AD 환자는 정상군에 비해 비중립 감정 비율이 16.9%로 현저히 높으며(5.7% 대비, p < .001), 탐색적 음성 분석에서는 슬픔 표현 시 정상군은 F0가 –3.45 semitone 감소하는 반면 AD는 거의 변동이 없었다(Δ = +0.11, 상호작용 p = .023). AD 발화에서는 음량(loudness)이 감정 구분에 중요한 역할을 보여 감정‑프로소디 매핑이 부분적으로 보존됨을 시사한다. 코퍼스, 라벨링 가이드라인, 캘리브레이션 워크숍 자료를 공개하여 임상 감정 인식 연구를 촉진한다.

상세 분석

이 연구는 기존의 DementiaBank Pitt Corpus에 기반해 AD와 정상 대조군 각각 54명씩, 총 108명의 화자를 대상으로 Cookie Theft 그림 묘사 과제를 수행한 발화를 선택하였다. 발화는 총 1,492개(PAR 발화)이며, AD군 615개, 정상군 731개가 최종 라벨링되었다. 라벨링은 11명의 다학제적 평가자가 3단계에 걸쳐 진행됐으며, Ekman의 6가지 기본 감정과 중립을 사용했다. 초기 라벨링의 일관성은 낮았지만(플리스 κ = 0.094), 캘리브레이션 워크숍을 통해 가이드라인을 정교화하고 평가자 간 인지 차이를 조정함으로써 κ값이 0.313까지 상승했다. 이는 임상 음성 데이터에서 감정 라벨링이 갖는 고유의 난이도를 반영한다.

통계적으로 AD 환자는 비중립 감정 비율이 16.9%로 정상군(5.7%)보다 3배 이상 높았다. 특히 Joy와 Surprise가 두드러졌으며, Anger·Disgust·Fear는 드물게 나타났다. 감정 분포 차이는 χ²(1)=38.45, p < .001로 유의했다. 음성 특성 분석에서는 슬픔 발화 시 정상군이 평균 –3.45 semitone의 F0 저하를 보인 반면, AD군은 +0.11 semitone로 변동이 거의 없었다(상호작용 p = .023). 표본 수가 제한적(정상 n=5, AD n=15)하지만, 이는 AD에서 감정‑프로소디 연결이 약화될 가능성을 시사한다.

AD 발화 내부에서는 음량이 감정 구분에 중요한 단서가 되었으며, 특히 Joy와 Surprise는 평균 음량이 0.3 sone 이상 차이났다. 이는 F0 변동이 감소하더라도 음량 조절을 통해 감정 표현을 보완하려는 메커니즘일 수 있다. 또한, 모호(ambiguous) 라벨이 부여된 137개의 AD 발화는 전반적으로 F0, F0 variance, Loudness, HNR이 낮고 단어 수가 적어, 청각적 단서가 부족해 라벨링이 어려웠음을 보여준다.

데이터셋은 다중 라벨링과 라벨링 신뢰도(플리스 κ = 0.23–0.31) 정보를 함께 제공함으로써, 향후 자동 감정 인식 모델이 라벨 불확실성을 고려하도록 설계할 수 있다. 한계점으로는 슬픔에 대한 F0 분석 표본이 작고, 정상군 라벨링에 캘리브레이션 워크숍이 적용되지 않아 비교 시 편향 가능성이 있다. 또한, 현재는 음성 단일 모달리티에 국한돼 있어 얼굴 표정·생체 신호와의 멀티모달 통합 연구가 필요하다.

이 논문의 주요 기여는 (1) AD 말하기에 특화된 감정 코퍼스 공개, (2) 임상 음성 라벨링을 위한 체계적 가이드라인 및 캘리브레이션 절차 제시, (3) AD 환자의 비중립 감정 표현 빈도 증가와 감정‑프로소디 매핑의 부분적 보존 현상 규명, (4) 향후 연구를 위한 데이터·도구 제공이다. 이러한 자원은 감정 인식 기반 조기 진단, 감정‑인식 보조기술, 그리고 AD 환자와 돌봄 제공자 간의 정서적 상호작용 개선에 활용될 수 있다.