PCA 기반 호흡 움직임 모델을 이용한 가슴·간 Cine MRI 미래 프레임 예측: 트랜스포머와 온라인 학습 RNN 비교

초록

본 연구는 가슴·간 Cine MRI에서 호흡에 의해 발생하는 변형을 PCA로 저차원 가중치로 압축하고, 이를 기반으로 미래 프레임을 예측한다. 선형 회귀, 인코더‑전용 트랜스포머, 그리고 실시간 재학습(RTRL, UORO, DNI, SnAp‑1) 가능한 RNN을 비교하였다. 짧은 예측 구간에서는 선형 회귀가 가장 정확했으며, 중·장기 구간에서는 RTRL과 SnAp‑1이 가장 우수했다. 트랜스포머는 데이터 부족과 도메인 이동에 취약해 전반적으로 성능이 제한적이었다.

상세 분석

이 논문은 방사선 치료 시 발생하는 시스템 지연을 보상하기 위해, 실시간으로 획득되는 가슴·간 Cine MRI 영상의 미래 프레임을 정확히 예측하는 방법을 제시한다. 핵심 아이디어는 Lucas‑Kanade 옵티컬 플로우를 PCA로 분해해 정적 변형과 시간에 따라 변하는 저차원 가중치(주성분 계수)로 표현하는 것이다. 이렇게 얻어진 가중치 시계열은 실제 예측 대상이 되며, 저차원 특성 덕분에 모델 학습이 효율적이다.

예측 모델로는 크게 세 종류를 시험했다. 첫째, 선형 필터(선형 회귀)와 같은 전통적 방법은 최소 파라미터와 빠른 연산 속도로 짧은 예측 구간(h≤0.3 s)에서 1.3 mm 이하의 기하학적 오차를 달성했다. 둘째, 트랜스포머 기반 인코더‑전용 모델을 두 가지 설정(전체 인구 데이터 기반, 개별 시퀀스 전용)으로 학습했는데, 입력 윈도우가 짧고 데이터가 12개의 시퀀스에 불과해 과적합 위험이 높았다. 결과적으로 저·중간 구간에서 경쟁력을 보였지만, 장기(h≥0.5 s)에서는 성능이 급격히 저하되었다. 이는 트랜스포머가 대규모 데이터와 긴 컨텍스트를 전제로 설계된 구조이기 때문이다.

셋째, 온라인 학습이 가능한 RNN 변형들을 적용했다. RTRL은 실시간으로 모든 가중치를 미분해 업데이트함으로써 급격한 호흡 패턴 변화에 즉각 적응한다. UORO는 RTRL의 계산 복잡도를 무작위 추정으로 감소시켜 메모리 사용량을 절감한다. DNI는 외부 메모리(신경 인터페이스)를 통해 장기 의존성을 보존하고, SnAp‑1은 한 스텝만을 희소하게 업데이트해 연산량을 최소화한다. 실험 결과, 중·장기 구간에서 RTRL과 SnAp‑1이 가장 낮은 평균 기하학적 오차(ETH Zürich 데이터 1.4 mm, OvGU 데이터 2.8 mm)를 기록했으며, 특히 OvGU 데이터처럼 잡음·대조도가 낮은 경우에도 견고한 성능을 보였다.

또한, 모델 적응성 측면에서 온라인 RNN은 새로운 호흡 사이클이 시작될 때마다 파라미터를 즉시 조정해 drift와 amplitude shift에 강인했다. 반면 트랜스포머는 사전 학습된 가중치를 고정하고 추론만 수행하므로, 급격한 패턴 변동에 취약했다.

시각적 평가에서는 예측된 프레임이 실제 프레임과 전반적으로 일치했으며, 오류는 주로 흉강 상부(횡격막 끝 흡기 시점)와 평면 외 움직임이 발생하는 영역에서 집중되었다. 이는 PCA가 2차 주성분까지만 사용해 복잡한 비선형 변형을 완전히 포착하지 못한 한계와, 2D 영상만으로 3D 변형을 추정하는 근본적인 제약을 반영한다.

결론적으로, 데이터가 제한된 의료 영상 분야에서는 파라미터 효율이 높은 온라인 RNN이 트랜스포머보다 실용적이며, 특히 중·장기 예측에서 강점을 가진다. 향후 연구는 더 많은 주성분을 활용하거나, 3D 볼륨 정보를 결합한 하이브리드 모델을 통해 오프‑플레인 오류를 감소시키는 방향으로 진행될 수 있다.