ECG 파운데이션 모델을 전면 재평가: 성능을 넘어선 포괄적 벤치마크

초록

본 논문은 ECG 전용 파운데이션 모델(FM)의 일반화 능력을 평가하기 위해, 성능 지표와 함께 임베딩 수준의 해석을 결합한 새로운 벤치마크 프레임워크를 제안한다. 4개의 최신 FM과 4개의 대륙별 ECG 데이터셋을 활용해 선형 프로빙, SHAP 기반 특성 중요도 분석, UMAP 시각화 및 클러스터 품질 지표(k‑NN, 중심 거리, ARI)를 수행한다. 실험 결과는 데이터 희소 상황에서도 모델 간 차별화된 임베딩 구조와 일반화 특성을 드러내며, 기존 성능‑중심 평가만으로는 포착하기 어려운 인사이트를 제공한다.

상세 분석

논문은 먼저 파운데이션 모델(FM)이 임베딩을 통해 다양한 다운스트림 작업에 재사용될 수 있다는 점을 강조하고, 의료 분야 특히 ECG 해석에서 임베딩의 일반화 여부가 임상 안전성에 직결된다는 문제를 제기한다. 이를 해결하기 위해 저자는 “성능 + 표현” 이중 평가 체계를 설계했으며, 구체적인 절차는 다음과 같다. 첫 단계에서는 사전학습된 4개의 ECG‑전문 FM(ECG‑FM, ECGFounder, HuBERT‑ECG, ECG‑JEP‑A)을 고정(frozen) 상태로 사용해 입력 12‑lead ECG 신호를 임베딩한다. 두 번째 단계에서는 동일한 임베딩에 대해 XGBoost, Decision Tree, Random Forest, Logistic Regression, MLP 등 5가지 경량 분류기를 학습시켜 15‑fold 교차검증으로 F1 점수를 산출한다. 여기서 가장 높은 F1을 기록한 분류기를 각 FM별 최적 모델로 선정한다.

표현 수준 평가에서는 두 가지 핵심 도구를 사용한다. 첫째, SHAP(Shapley Additive exPlanations)를 적용해 최적 분류기의 특성 중요도를 추출하고, 각 데이터셋에서 상위 50개 특징을 교차‑데이터셋 방식으로 비교한다. 이 과정에서 특징 중요도의 겹침 비율을 일반화 지표로 활용함으로써, 특정 데이터셋에 과도하게 의존하는지 여부를 정량화한다. 둘째, UMAP을 이용해 고차원 임베딩을 2차원으로 시각화하고, 시각적 군집 형태를 정성적으로 검토한다. 시각화와 별도로 k‑Nearest Neighbor 거리, 클래스 중심 간 거리, Adjusted Rand Index(ARI)와 같은 정량적 군집 품질 지표를 계산해 임베딩 공간의 내부·외부 구분도를 객관적으로 평가한다.

데이터는 GEO(미국), C15(유럽), PTX(유럽), CHN(아시아) 네 개의 공개 ECG 데이터셋을 사용했으며, 각 데이터셋은 샘플 수와 클래스 수가 크게 다르다(500~5,000 이상). 특히 데이터가 제한된 상황(예: 500개 이하)에서도 모델의 임베딩 품질을 테스트함으로써 실제 임상 현장의 데이터 희소 문제를 시뮬레이션했다.

실험 결과는 다음과 같이 요약된다. (1) 성능 측면에서는 모든 FM이 전반적으로 높은 F1 점수를 보였지만, 데이터 규모가 작아질수록 차이가 확대되었다. (2) SHAP 분석에서는 ECGFounder와 HuBERT‑ECG가 여러 데이터셋에 걸쳐 상위 50개 특징의 겹침 비율이 70% 이상으로 가장 일관된 특성 선택을 보였으며, 이는 임상적으로 의미 있는 파형 특징(예: QRS 복합체, ST‑segment)과 연관될 가능성을 시사한다. 반면 ECG‑FM은 특정 데이터셋에 편향된 특징을 많이 선택해 일반화가 제한적이었다. (3) UMAP 시각화와 군집 지표는 ECG‑JEP‑A가 가장 뚜렷한 클래스 구분을 나타냈으며, ARI가 0.68로 가장 높았다. 그러나 k‑NN 거리 측면에서는 ECGFounder가 가장 낮은 평균 거리를 기록해 같은 클래스 내 유사성이 가장 높았다. (4) 전체적으로 데이터가 충분히 풍부할 때는 모든 모델이 비슷한 성능을 보이지만, 데이터가 부족하거나 도메인이 변할 때는 임베딩 구조와 특징 선택의 차이가 성능 격차로 직결된다.

이러한 결과는 단순히 다운스트림 정확도만을 기준으로 FM을 선택하는 것이 위험할 수 있음을 강조한다. 임베딩의 해석 가능성, 특징 일관성, 군집 구조 등을 함께 고려하면, 실제 임상 적용 시 모델의 신뢰성과 안전성을 보다 체계적으로 평가할 수 있다. 논문은 또한 코드와 벤치마크 파이프라인을 오픈소스로 제공함으로써, 향후 연구자들이 새로운 FM이나 데이터셋을 손쉽게 추가·비교할 수 있는 기반을 마련한다.