중환자실 실시간 사망 예측을 위한 강화학습 기반 템포럴 디퍼런스 모델

초록

**
본 연구는 불규칙하게 측정되는 ICU 환자 시계열 데이터를 반영한 세미‑마코프 보상 프로세스(Semi‑MRP) 위에 템포럴 디퍼런스(TD) 학습을 적용한 프레임워크를 제시한다. MIMIC‑IV와 외부 SICdb 데이터를 이용해 28일 사망률을 예측했으며, TD 모델이 기존 감독학습 기반 모델 및 전통적인 임상 점수(SOFA 등)보다 AUROC가 0.02~0.07 정도 높고, 외부 검증에서도 과적합이 현저히 적은 점을 확인했다.

**

상세 분석

**
이 논문은 ICU 환자의 장기 사망 예측이라는 고변동성 문제에 강화학습의 템포럴 디퍼런스(TD) 학습을 도입함으로써 모델의 일반화 능력을 향상시키고자 한다. 기존의 감독학습은 각 시점의 관측값(Oₜ)과 최종 라벨(예: 28일 사망) 사이의 직접적인 매핑을 학습한다. 그러나 환자 경로가 매우 다양하고, 현재 상태가 먼 미래의 결과에 미치는 영향이 희미해지면서 높은 분산과 과적합이 발생한다. TD 학습은 V(Oₜ) ← E