신뢰할 수 있는 ECG 해석을 위한 프로토콜 기반 다중모달 LLM, ECG‑R1

초록

ECG‑R1은 임상 프로토콜에 기반한 데이터 생성, 모달리티 독립 설계와 인터리브드 모달리티 드롭아웃, 그리고 ECG 증거 기반 보상 강화학습을 결합해, 이미지·신호 어느 하나가 결여돼도 일관된 진단을 제공하고, 기존 MLLM이 보이는 심각한 환각을 크게 감소시킨 최초의 추론형 다중모달 대형 언어 모델이다.

상세 분석

본 논문은 현재 의료용 MLLM이 ECG 해석 시 보여주는 ‘환각’ 문제와 모달리티 결손 상황에서의 일관성 결여를 두 축으로 지적한다. 첫 번째 혁신은 Protocol‑Guided Instruction Data Generation이다. 저자들은 기존 ECG‑Grounding 데이터가 일반 LLM 프롬프트에 의존해 오류를 내포하고 있다는 점을 비판하고, 심전도 교과서(‘ECG from Basics to Essentials’)에 정의된 5단계 프로토콜과 정량적 임계값(예: RR 간격, QTc 등)을 그대로 코드화한다. 이를 위해 비학습형 FeatureDB를 이용해 12리드·14개 시퀀스(심박수, P‑QRS‑T 파형 특성 등)를 추출하고, 프로토콜 가이더가 이 특징 사전을 입력으로 받아 구조화된 ‘’, ‘’ 블록을 포함한 6단계 사고 흐름을 생성한다. 이렇게 만든 30 k개의 고품질 instruction‑response 쌍은 LLM이 사전 지식에 의존하지 않고, 측정값 기반 논리 전개를 학습하도록 만든다.

두 번째 혁신은 **Modality‑Decoupled Architecture with Interleaved Modality Dropout (IMD)**이다. 기존 omni‑perception 모델은 시계열과 이미지 토큰을 고정 순서로 결합하고, 이미지‑LLM 프로젝터를 공유함으로써 두 모달리티가 서로 얽혀 단일 모달리티 입력 시 성능 저하가 발생한다. ECG‑R1은 Qwen3‑VL‑8B와 ECG‑CoCa를 각각 이미지·시계열 전용 인코더로 사용하고, 별도 프로젝터를 통해 LLM 임베딩 공간에 매핑한다. 태그를 도입해 시계열 토큰을 이미지 토큰과 독립적으로 삽입함으로써, 하나의 모달리티가 결여돼도 정상적인 토큰 흐름을 유지한다. IMD는 학습 단계에서 (i) 모달리티 드롭(p_d)과 (ii) 토큰 순서 스와핑(p_s)을 확률적으로 적용해, 테스트 시 다양한 환경(T_test) – 이미지만, 신호만, 순서 교환 – 에 대한 위험을 혼합 위험 R_q로 최소화한다. 논문은 가정 2.1(coverage) 하에 R_max ≤ α⁻¹R_q, 그리고 교차‑모달 TV 거리(F, F_swap)가 excess risk에 의해 상한됨을 정리(Thm 2.2, 2.3)하여, IMD가 이론적으로 강건성·일관성을 보장함을 증명한다.

세 번째 혁신은 ECG Diagnostic Evidence Rewards (EDER) 기반 강화학습이다. 일반 RL은 최종 정답 정확도만 보상하지만, ECG‑R1은 중간 ‘think’ 단계의 구조화된 근거를 별도 보상함으로써, 모델이 진단 로직 자체를 학습하도록 유도한다. 이는 기존 DeepSeek‑R1과 달리 ‘process‑level’ reasoning을 강화해, 최종 진단뿐 아니라 그 과정에서 제시된 증거(예: “RR 간격이 800 ms 초과 → 서맥”)가 임상 기준과 일치하도록 만든다. 실험에서는 RL 전후의 NLL 감소와 함께, 전문가 평가에서 ‘근거 제시 정확도’가 22%p 상승한 것을 보고한다.

평가 부분에서는 공개된 GPT‑5.1, MedGemma 등 상용·오픈소스 MLLM 7종과 기존 ECG‑specialized 모델(GEM 등)을 동일 데이터셋(MIMIC‑IV‑ECG)과 실제 심장전문의 라벨링을 통해 비교한다. 주요 지표는 진단 정확도, 환각 비율, 모달리티 결손 시 교차‑일관성(F1)이다. ECG‑R1은 진단 정확도 92.4% (최고 85.1% 대비 +7.3p), 환각 비율 3.2% (기존 모델 평균 27% 대비 대폭 감소), 그리고 이미지·신호 모두 제공 시와 단일 모달리티 제공 시의 출력 일관성 점수가 0.94 (기존 0.71)로 가장 높았다. 또한, 라이선스된 심장전문의 30명 평가에서 ‘임상 활용 가능성’ 점수가 평균 4.6/5를 기록, 현장 적용 가능성을 입증했다.

한계점으로는 (1) 프로토콜이 특정 교과서에 고정돼 있어 지역·기관별 해석 기준 차이를 반영하기 어려움, (2) FeatureDB가 비학습형이므로 잡음·아티팩트가 많은 실제 ECG에서 전처리 품질에 민감함, (3) RL 단계에서 보상 설계가 복잡해 재현성이 낮을 수 있다는 점을 언급한다. 향후 연구에서는 다국적 ECG 가이드라인을 통합한 프로토콜 집합, 잡음 강인한 특징 추출기, 그리고 보상 함수 자동 튜닝 메커니즘을 제시한다.

전반적으로 ECG‑R1은 “프로토콜‑구동 데이터 → 모달리티‑분리 인코딩 → 이론적 보장 IMD → 증거‑중심 RL”이라는 4단계 파이프라인을 통해, 기존 MLLM이 갖던 ‘흔한 환각’과 ‘모달리티 의존성’ 문제를 근본적으로 해결한 최초의 의료용 다중모달 LLM으로 평가된다.