다국어 인지감소 탐지를 위한 합성 페르소나 기반 데이터 증강 및 사고흐름 학습

초록

SynCog는 가상 페르소나를 활용해 다언어 음성‑텍스트 데이터를 자동 생성하고, 체인‑오브‑생각(CoT) 추론을 모델에 학습시켜 MCI·AD 진단의 정확도와 해석성을 동시에 향상시킨 프레임워크이다.

상세 분석

본 논문은 임상 음성 데이터의 극심한 부족과 기존 모델의 ‘블랙박스’ 특성을 동시에 해결하고자 한다. 첫 번째 핵심은 “컨트롤러 가능한 제로샷 멀티모달 데이터 합성”이다. 저자들은 LLM을 이용해 연령·성별·교육 수준·인지 상태 등 인구통계적 속성을 입력으로 가상의 디지털 페르소나를 생성하고, 이를 기반으로 ‘쿠키 도둑’ 그림 설명 과제를 수행하는 텍스트와 고품질 음성(음성 클로닝) 데이터를 동시에 생산한다. 이렇게 만든 SYN‑EN(영어)과 SYN‑ZH(중국어) 합성 코호트는 각각 500명씩의 AD, MCI, HC 샘플을 포함해 실제 데이터와 통계적·음향적 분포가 높은 일치성을 보인다.

두 번째 핵심은 “체인‑오브‑생각(Chain‑of‑Thought) 디스토일레이션 및 파인튜닝”이다. 기존의 지도학습은 단순히 라벨을 예측하도록 강제하지만, SynCog는 합성 데이터에 대해 전문가 수준의 진단 논리를 자동 생성하고, 이를 LoRA(저차원 적응) 방식으로 멀티모달 백본(Qwen2‑Audio‑7B‑Instruct)에 주입한다. 모델은 입력 음성·텍스트를 받아 “청자음의 억양, 어휘 빈도, 공간 용어 사용 감소 등”과 같은 구체적 근거를 단계별로 서술한 뒤 최종 라벨을 제시한다. 이 과정은 (1) 데이터 스키마와 임상 지표를 연결하는 ‘CoT 추론’ 단계, (2) 해당 추론을 정답으로 삼아 모델을 미세조정하는 ‘CoT 파인튜닝’ 단계로 구분된다.

실험에서는 ADReSS(이진)와 ADReSSo(음성 전용) 벤치마크에 합성 데이터를 보강한 뒤 Macro‑F1 80.67 %·78.46 %를 달성했으며, 독립적인 중국어 코호트(CIR‑E)에서는 48.71 %라는 비교적 낮은 점수에도 불구하고 기존 영어‑중국어 전이 모델보다 월등히 높은 성능을 보였다. 이는 합성 데이터가 언어‑특이적 음향·언어 패턴을 효과적으로 캡처했음을 의미한다.

한계점으로는 (①) 합성 음성의 품질이 실제 임상 환경의 잡음·방언 변이를 완전히 재현하지 못할 가능성, (②) CoT 라벨링이 자동 생성된 것이므로 전문가 검증이 부족할 수 있음, (③) 현재는 ‘쿠키 도둑’ 과제에 국한돼 있어 다른 언어·문화적 과제에 대한 일반화 검증이 필요하다. 향후 연구에서는 다중 과제·다중 방언 데이터베이스 구축, 인간 전문가와의 협업을 통한 CoT 라벨 정제, 그리고 실제 임상 워크플로에의 통합을 목표로 해야 할 것이다.