ECG 파운데이션 모델 성능 격차 해소를 위한 포스트 트레이닝 전략

초록

본 논문은 대규모 ECG 파운데이션 모델을 기존 파인튜닝 방식보다 더 효과적으로 활용하기 위한 두 단계 포스트 트레이닝 방식을 제안한다. 먼저 사전 학습된 모델의 분류 헤드를 교체하고 선형 프로빙으로 초기화한 뒤, 전체 모델을 재학습하면서 스토캐스틱 딥스, 드롭아웃, 코사인 학습률 감쇠 및 가중치 감쇠를 적용한다. PTB‑XL 데이터셋을 중심으로 다중 과제에 실험한 결과, 매크로 AUROC가 0.7%‑8.9%, 매크로 AUPRC가 23.3%‑77.9% 향상되었으며, 전체 데이터의 30%만 사용해도 기존 베이스라인을 능가했다. Ablation 실험을 통해 스토캐스틱 딥스와 프리뷰 선형 프로빙이 성능 향상의 핵심 요소임을 확인하였다.

상세 분석

이 연구는 ECG 파운데이션 모델이 사전 학습 단계에서 얻은 일반화된 심전도 표현을 실제 임상 과제에 적용할 때 나타나는 성능 격차를 최소화하고자 한다. 핵심 아이디어는 두 단계의 포스트 트레이닝을 도입하는데, 첫 번째 단계인 ‘초기화 단계’에서는 기존 모델의 분류 헤드를 작업별 헤드로 교체하고, 사전 학습된 백본 파라미터는 고정한 채 선형 프로빙을 수행한다. 이는 사전 학습된 특징 공간을 그대로 활용하면서 새로운 헤드가 빠르게 적절한 가중치를 학습하도록 돕는다. 두 번째 단계인 ‘정규화 단계’에서는 전체 모델을 풀 파인튜닝하면서 스토캐스틱 딥스(stochastic depth)를 모든 residual connection에 적용한다. 스토캐스틱 딥스는 학습 중 일부 레이어를 무작위로 건너뛰어 정보 중복을 감소시키고, 깊은 네트워크의 기울기 소실 문제를 완화한다. 추가적으로 Feed‑forward 레이어에 드롭아웃을 삽입해 과적합을 방지하고, 코사인 학습률 스케줄과 AdamW 기반 가중치 감쇠를 결합해 학습 안정성을 높였다. 실험에서는 공개된 Transformer‑FM인 ST‑MEM을 기반 모델로 사용했으며, PTB‑XL의 다중 라벨 분류, 다중 클래스 진단 등 5개 이상의 하위 과제에 적용하였다. 결과는 매크로 AUROC가 최대 8.9%p, 매크로 AUPRC가 최대 77.9%p 향상되는 등 기존 파인튜닝 대비 일관된 성능 개선을 보여준다. 특히 데이터 효율성 측면에서 전체 학습 데이터의 30%만 사용해도 베이스라인 전체 데이터를 학습한 결과를 능가했으며, 이는 임상 현장에서 라벨링 비용이 높은 ECG 데이터에 대한 실용적 가치를 의미한다. Ablation 연구에서는 스토캐스틱 딥스를 제외하면 성능이 급격히 감소하고, 초기화 단계에서 선형 프로빙 없이 바로 풀 파인튜닝을 수행하면 초기 수렴이 늦어지는 현상이 관찰되었다. 따라서 두 구성 요소가 시너지 효과를 내어 전반적인 일반화 능력을 크게 향상시킨다. 이와 같은 접근법은 Transformer 기반뿐 아니라 CNN 기반 ECG 파운데이션 모델에도 적용 가능하다는 점에서 범용성을 가진다.