대규모 언어 모델을 위한 전자 환자‑의료진 메시지 벤치마크 EPPCMinerBen

초록

EPPCMinerBen은 Yale New Haven Hospital 환자 포털에서 수집한 752개의 보안 메시지(1,933문장)를 기반으로, 코드 분류, 서브코드 분류, 증거 추출이라는 3가지 과업을 제공하는 새로운 벤치마크이다. 9개의 상위 코드와 다중 서브코드 체계를 통해 환자‑의료진 상호작용의 사회·정서적·임상적 측면을 정밀히 라벨링했으며, 다양한 LLM을 zero‑shot 및 few‑shot 설정에서 평가하였다. 대형 instruction‑tuned 모델(Llama‑3.1‑70B, Llama‑3.3‑70B‑Instruct 등)이 전반적으로 우수한 성능을 보였으며, 특히 증거 추출(F1 = 82.84%)에서 높은 정확도를 기록했다.

상세 분석

EPPCMinerBen은 전자 환자‑의료진 커뮤니케이션(EPPC)이라는 아직 충분히 탐구되지 않은 임상 데이터 영역에 초점을 맞춘 최초의 대규모 언어 모델(LLM) 벤치마크이다. 기존의 CBLUE, MedDG, ReMeDi, MediTOD 등은 주로 구조화된 진료 기록이나 시뮬레이션 대화에 국한돼 있어, 비동기식 보안 메시지에서 나타나는 비공식적·감정적·사회적 요소를 포착하지 못한다. EPPCMinerBen은 이러한 격차를 메우기 위해 9개의 상위 코드(예: Information Giving, Patient Partnership 등)와 각각에 대응하는 30여 개의 서브코드(예: Salutation, Diagnostics, Drugs 등)를 설계했으며, 각 문장에 다중 라벨을 부여하는 다중 라벨 분류와 계층적 서브코드 선택, 그리고 코드‑서브코드 쌍을 근거하는 최소 텍스트 스팬을 추출하는 증거 추출 과업을 정의했다.

데이터는 752개의 실제 보안 메시지(환자 449, 제공자 303)에서 1,933개의 문장으로 추출됐으며, 총 27,849단어·33,388토큰을 포함한다. 평균 문장 길이는 37단어(표준편차 33)이며, 최대 248단어까지 다양성을 보인다. 라벨링은 RIAS 기반 코딩북을 활용해 전문가 3인이 협업으로 수행했으며, 코드 분포는 Information Giving(930)과 Patient Partnership(839)가 가장 빈번하고, 정서적 지원(Positive Remarks, Encourage Questions 등)은 매우 희소했다. 이는 보안 메시지에서 정서적 교류가 제한적임을 시사한다.

모델 평가에서는 Llama‑3.1‑70B가 증거 추출에서 F1 = 82.84%로 최고 성능을 보였고, Llama‑3.3‑70B‑Instruct가 코드 분류(F1 = 67.03%)에서 우수했다. DeepSeek‑R1‑Distill‑Qwen‑32B는 서브코드 분류(F1 = 48.25%)에서 가장 높은 점수를 기록했으며, sdoh‑llama‑3‑70B는 전 과업에서 일관된 성능을 유지했다. 반면 7B 이하 소형 모델은 특히 서브코드 분류에서 F1 < 30%에 머물렀다. Few‑shot 프롬프트를 적용하면 대부분의 과업에서 성능이 5~10%p 상승했으며, 특히 코드‑서브코드 간의 계층적 추론이 필요한 경우에 효과가 두드러졌다.

이 결과는 대형 모델이 복잡한 계층적 라벨링과 근거 추출에 강점을 가지며, instruction‑tuning이 EPPC와 같은 비정형 의료 대화에 적합함을 입증한다. 또한, 소형 모델이 세밀한 서브코드 구분에 어려움을 겪는 점은 파라미터 규모와 도메인 특화 파인튜닝의 필요성을 강조한다.

한계점으로는 데이터가 단일 기관(Yale New Haven Hospital)에서만 수집됐으며, 암 환자 중심의 메시지라 일반 의료 분야로의 확장 가능성이 제한적이다. 라벨링 과정에서 감정적 코드가 희소해 모델이 해당 영역을 충분히 학습하지 못했을 가능성도 있다. 향후 연구에서는 다기관·다문화 데이터 확보, 감정·사회적 결정 요인(SDoH) 라벨 확대, 그리고 라벨 간 관계를 그래프 형태로 모델링하는 방법을 탐색할 수 있다.

전반적으로 EPPCMinerBen은 임상 대화 분석, 환자 맞춤형 의사소통 지원 도구 개발, 그리고 LLM의 의료 분야 일반화 능력 평가에 중요한 기반을 제공한다.