ADRD 벤치: 알츠하이머와 치매를 위한 최초 LLM 평가 데이터셋

초록

ADRD‑Bench는 알츠하이머·치매(ADRD) 분야를 겨냥한 최초의 대형 언어 모델(LLM) 평가 데이터셋이다. 1,352개의 임상·지식 질문을 기존 7개 의료 벤치마크에서 통합한 “ADRD Unified QA”와, 실생활 돌봄 상황을 반영한 149개의 질문을 ABC 프로그램 기반으로 만든 “ADRD Caregiving QA”로 구성된다. 33개의 최신 LLM을 시험한 결과, 일반 오픈‑웨이트 모델은 평균 정확도 0.78, 의료 특화 오픈‑웨이트 모델은 0.82, 폐쇄형 일반 모델은 0.89를 기록했으며, 최고 모델도 추론 일관성·안정성에서 한계를 보였다.

상세 분석

본 논문은 알츠하이머·치매(ADRD)라는 고령사회 핵심 의료 영역에 특화된 LLM 평가 프레임워크를 최초로 제시한다는 점에서 학술적·실용적 의의가 크다. 먼저 데이터셋 구축 방법을 살펴보면, 기존 12개 공개 의료 벤치마크에서 “Alzheimer”, “Dementia”, “ADRD”, “AD” 등 키워드로 검색해 0.6% 수준에 불과한 ADRD 관련 질문을 추출하고, 이를 7개 베이스라인( PubMedQA, HEAD‑QA, MedBullets, MedMCQA, MedQA, MEDEC, MedHallu)에서 총 1,352개로 통합하였다. 이 과정에서 질문의 원형을 그대로 보존함으로써 기존 벤치마크와의 직접 비교가 가능하도록 설계했다.

두 번째 구성 요소인 “ADRD Caregiving QA”는 기존 벤치마크가 거의 다루지 못하는 돌봄 현장 지식을 채워준다. 미국 노인보건청이 지원하고, 20년 이상 임상 검증된 Aging Brain Care(ABC) 프로그램의 교육 자료를 탈식별화한 뒤, 3단계 추상화 과정을 거쳐 120개의 True/False와 29개의 다지선다형 질문을 만든 점이 특징이다. 질문 설계는 ABC 프로그램의 수석 임상의 검토를 받아 임상적 정확성과 실용성을 동시에 확보했다.

평가에서는 33개의 최신 LLM을 포함했으며, 오픈‑웨이트 일반 모델(3.8B~235B 파라미터), 오픈‑웨이트 의료 특화 모델, 그리고 ChatGPT·Claude·Gemini 등 폐쇄형 일반 모델을 모두 시험했다. 실험 환경은 모델 규모에 따라 RTX 6000 Ada GPU와 H100 클러스터를 활용해 일관된 프로토콜을 유지했다. 결과는 전반적으로 폐쇄형 일반 모델이 가장 높은 평균 정확도(0.89)를 보였으며, 오픈‑웨이트 의료 모델이 0.82, 일반 모델이 0.78로 뒤따랐다. 특히 파라미터 규모가 큰 모델일수록 정확도가 상승했지만, 동일 모델이라도 질문 유형(다지선다 vs. 오류 탐지)마다 성능 격차가 크게 나타났다.

가장 중요한 발견은 “정확도”만으로 모델의 실용성을 판단하기 어렵다는 점이다. 사례 연구에서는 고정밀 질문에선 0.95 이상의 정확도를 기록했지만, 동일 질문을 약간 변형하거나 문맥을 바꾸면 답변 일관성이 크게 흔들렸다. 또한 오류 탐지( hallucination detection)와 같은 메타‑추론 과제에서 일부 최상위 모델조차 높은 오탐률을 보였으며, 돌봄 상황 질문에서는 감정적·문화적 뉘앙스를 반영한 답변이 부족했다. 이는 현재 LLM이 “지식”은 어느 정도 보유하고 있으나, “임상적 추론”과 “돌봄 현장 적용”이라는 복합적 요구를 충족시키기엔 한계가 있음을 시사한다.

논문의 한계로는 데이터셋 규모가 아직 제한적이며, 특히 “ADRD Caregiving QA”가 149개에 불과해 다양한 케이스를 포괄하기엔 부족하다는 점을 인정한다. 또한 평가 메트릭이 정확도 중심에 머물러 있어, 답변의 신뢰성·설명성·윤리성 등을 정량화하는 추가 지표가 필요하다. 향후 연구에서는 실제 돌봄 현장 전문가와의 인터랙션을 통한 인간‑모델 협업 평가, 그리고 도메인‑특화 파인튜닝(예: ABC 프로그램 대화 로그 활용) 등을 통해 모델의 안정성과 일관성을 강화할 방안을 모색해야 한다.

요약하면, ADRD‑Bench는 기존 의료 LLM 벤치마크의 “지식 빈틈”과 “돌봄 현장 부재”를 동시에 메우는 중요한 시도이며, 초기 실험 결과는 현재 LLM이 ADRD 분야에서 어느 정도 성능을 보이지만, 일관된 추론과 실생활 적용 능력에서는 아직 미흡함을 보여준다. 이는 향후 도메인‑특화 데이터와 평가 프레임워크 개발의 촉매제로 작용할 것으로 기대된다.