SeqRisk: 변이형 오토인코더와 트랜스포머를 결합한 장기 데이터 생존 예측 모델

초록

SeqRisk는 변이형 오토인코더(VAE) 또는 시간 연속성을 고려한 LVAE에 다중 출력 가우시안 프로세스(GP) 사전을 결합하고, 이를 트랜스포머 기반 시퀀스 집계와 Cox 비례 위험 모듈에 연결한 통합 프레임워크이다. 불규칙·고차원·결측이 많은 실제 의료 기록을 효과적으로 인코딩하면서 장기적인 시간 의존성을 포착하고, ELBO와 Cox 부분가능도 손실을 동시에 최적화한다. 실험 결과, 희소도가 증가해도 기존 방법을 지속적으로 능가하는 강인한 성능을 보였다.

상세 분석

SeqRisk는 두 가지 핵심 기술을 결합한다. 첫 번째는 변이형 오토인코더(VAE)와 그 확장형인 LVAE이다. 표준 VAE는 각 관측치를 독립적인 샘플로 가정하고 저차원 잠재 공간 Z에 압축한다. 반면 LVAE는 각 잠재 차원에 다중 출력 가우시안 프로세스(GP) 사전을 부여해, 환자별·시간별 공변량 X에 조건화된 연속 함수 fₗ(x)를 학습한다. 이 설계는 불규칙한 측정 시점과 높은 결측률을 가진 전자건강기록(EHR)에서 시간적 상관성을 자연스럽게 모델링한다. 저차원 잠재 벡터는 인코더‑디코더 구조를 통해 재구성 손실과 KL 발산을 최소화하는 ELBO 최적화로 학습되며, LVAE의 경우 저랭크 인듀싱 포인트를 이용해 스케일러빌리티를 확보한다.

두 번째 핵심은 트랜스포머 기반 시퀀스 집계이다. VAE/LVAE가 출력한 각 방문별 잠재 벡터 zᵢ는 토큰으로 변환돼 임베딩 레이어와 시간 간격을 반영한 포지셔널 인코딩(또는 시간‑갭 인코딩)과 결합된다. 다중 헤드 셀프‑어텐션은 정규·비정규 샘플링 모두에서 짧은 범위와 장거리 의존성을 동시에 포착한다. 어텐션 풀링 레이어가 전체 시퀀스를 하나의 고정 길이 벡터 uₚ로 압축하고, 이를 소규모 MLP에 통과시켜 비선형 위험 함수 f_ω(Zₚ, Xₚ)를 얻는다.

위험 함수는 Cox 비례 위험 모델의 로그 위험에 비선형 변환을 적용한 형태이며, 부분가능도 손실을 변이형 사후 q_ϕ(Z|Y) 위에서 기대값으로 계산한다. 즉, 잠재 변수의 불확실성을 반영한 기대 Cox 손실을 최소화함으로써, 재구성 목표와 위험 예측 목표를 동시에 만족한다. 전체 손실은 α·L_cox − (1−α)·ELBO 로 정의되어, α는 교차 검증을 통해 위험 예측과 잠재 표현 품질 사이의 균형을 조절한다.

관련 연구와 비교하면, 기존 DeepSurv·DeepHit 등은 정적 공변량에만 초점을 맞추거나 사전 집계된 시퀀스를 입력으로 사용한다. RNN 기반 모델은 불규칙 샘플링에 약하고, ODE/CDE 기반 모델은 연산 비용이 높으며 복잡한 연속 시간 가정이 필요하다. SeqRisk는 VAE/LVAE의 생성적 표현력과 트랜스포머의 시퀀스 모델링을 결합해, 불규칙·고차원·희소 데이터에서도 강인한 성능을 보인다. 실험에서는 합성 Survival MNIST, PhysioNet ICU, 그리고 12년 추적 관찰된 관상동맥질환 데이터 세트에서 C‑index와 Integrated Brier Score를 평가했으며, 특히 데이터 희소도가 90 % 이상일 때도 기존 방법을 지속적으로 앞섰다.

한계점으로는 트랜스포머와 GP 사전이 결합된 구조가 메모리·시간 복잡도를 증가시켜 대규모 코호트에 적용 시 하드웨어 요구가 높아질 수 있다. 또한, 위험 해석 측면에서 부분적인 설명 가능성만 제공하므로, 임상 의사결정에 직접 활용하려면 추가적인 설명 기법이 필요하다.