EchoJEPA 초음파 심장영상 잡음에 강한 잠재 예측 파운데이션 모델

초록

EchoJEPA는 300 K명의 환자·1800만 개의 초음파 심장영상으로 사전학습한 대규모 파운데이션 모델이다. 마스크된 영상 영역을 임베딩 공간에서 예측하도록 설계된 잠재 예측 목표(JEPA)를 사용해 스페클 노이즈와 음향 그림자를 무시하고 해부학적 구조를 강조한다. 다중‑뷰 프로빙 프레임워크와 동일한 경량 프로브를 적용한 평가에서 LVEF 추정 정확도가 기존 최고 모델보다 약 20 %·RVSP 추정이 17 % 향상됐으며, 라벨 1 %만 사용해 79 %의 뷰 분류 정확도를 달성한다. 물리‑기반 잡음(깊이 감쇠·음향 그림자)에도 성능 저하가 2 %에 불과하고, 소아 환자에 대한 제로샷 성능이 완전 파인튜닝된 베이스라인을 앞선다.

상세 분석

본 논문은 초음파 영상 특유의 stochastic speckle와 acquisition artifact을 억제하면서도 심장 구조·운동 정보를 보존하는 표현 학습 방법을 제시한다. 핵심 아이디어는 Joint‑Embedding Predictive Architecture(JEPA)를 영상에 적용한 ‘잠재 예측’이다. 기존의 마스크드 오토인코더는 픽셀‑레벨 복원을 목표로 하여 speckle까지 재현해야 하므로 노이즈에 민감하지만, EchoJEPA는 EMA(Exponential Moving Average) 교사 네트워크가 생성한 임베딩을 목표로 삼아 예측 손실을 L1로 정의한다. 이때 교사 네트워크는 매 스텝마다 학생 네트워크 파라미터의 EMA를 사용해 서서히 업데이트되므로, 빠르게 변하는 speckle는 평균화되어 목표 임베딩에 거의 반영되지 않는다. 결과적으로 모델은 시간‑공간적으로 일관된 해부학적 패턴(심실벽 움직임, 판막 개폐 등)에 집중하게 된다.

데이터 규모는 18 M 영상·300 K 환자로, 기존 초음파 파운데이션 모델(예: PanEcho 1 M, EchoPrime 12 M)보다 10배 이상 크다. 모델 아키텍처는 ViT‑Giant(1.1 B 파라미터)와 ViT‑Large(300 M) 두 버전을 사용했으며, 24 fps 고속 샘플링, 제한된 종횡비·크롭 스케일 증강을 통해 초음파 특성을 반영한다. 마스킹 비율과 토큰 설계는 V‑JEPA2와 동일하게 tubelet‑level(3D 패치)로 수행돼 시공간적 컨텍스트를 충분히 활용한다.

다중‑뷰 프로빙 프레임워크는 각 뷰·클립에 대한 토큰을 factorized view·clip 임베딩으로 보강하고, 뷰 드롭아웃(view dropout)으로 누락된 뷰에 대한 강인성을 학습한다. 이렇게 얻은 스트림 토큰을 R‑1개의 self‑attention 블록에 입력하고, learnable query가 전체 스터디 레벨 표현을 추출한다. 프로브는 동일한 depth = 4, 16 heads, MLP ratio = 4를 갖는 경량 트랜스포머이며, 하이퍼파라미터 탐색(learning rate, weight decay)도 모든 베이스라인에 동일하게 적용해 표현력 차이만을 측정한다.

성능 평가에서는 세 가지 축을 검증한다. ① 잠재 예측 vs. 픽셀 재구성: 동일 아키텍처·데이터·학습 조건에서 VideoMAE(픽셀‑MAE)와 비교했을 때 LVEF RMSE가 0.07에서 0.05로 개선되고, RVSP MAE도 2.3 mmHg→1.8 mmHg로 감소했다. ② 샘플 효율성·강인성: 라벨 1 %(≈1 k 스터디)만 사용해 79 % 뷰 분류 정확도를 달성했으며, 100 % 라벨을 사용한 베이스라인은 42 %에 머물렀다. 물리‑기반 잡음(깊이 감쇠 α = 0.7, 그림자 σ = 0.3W) 적용 시 성능 저하가 2 %에 불과했지만, VideoMAE와 대비해 17 % 정도 더 크게 감소했다. ③ 일반화: 소아 EchoNet‑Pediatric(3 316 영상)에서 제로샷 LVEF 추정 R² = 0.78을 기록했으며, 동일 데이터에 파인튜닝된 Supervised EchoNet‑Dynamic는 R² = 0.71에 그쳤다.

한계점으로는 사전학습에 사용된 18 M 영상이 대부분 내부 병원 데이터이며, 벤더·인구학적 편향이 존재할 수 있다. 또한 EMA 교사 네트워크의 업데이트 비율(τ)와 마스크 비율이 초음파 특성에 최적화됐는지에 대한 민감도 분석이 부족하다. 향후 연구에서는 멀티모달(영상·보고서) 결합, 실시간 프로빙, 그리고 다양한 벤더·국가 데이터로의 교차 검증이 필요하다.

요약하면, EchoJEPA는 초음파 영상의 잡음 특성을 고려한 잠재 예측 목표를 통해 기존 재구성 기반 모델보다 해부학적 표현을 더 정교하게 학습하고, 다중‑뷰 통합과 표준화된 프로빙을 통해 임상‑수준의 정량적 추정 및 강인성을 동시에 달성한 최초의 대규모 초음파 파운데이션 모델이다.