생성형 EHR 모델을 위한 효율적 분산 감소 추정기 — SCOPE와 REACH

초록

본 논문은 토큰화된 전자의무기록(EHR) 시퀀스를 학습한 생성 모델에서, 기존 몬테카를로 시뮬레이션이 갖는 추정값 분산·계산 비용·희소성 문제를 해결하기 위해 두 가지 새로운 추정기인 SCOPE와 REACH를 제안한다. 두 추정기는 다음 토큰 확률 분포를 활용해 무편향성을 유지하면서 REACH는 언제든지 몬테카를로보다 낮은 분산을 보장한다. MIMIC‑IV 데이터셋을 이용한 병원 사망률 예측 실험에서 100‑샘플 몬테카를로와 동등한 성능을 10~11개의 샘플만으로 달성해 약 10배의 추론 비용 절감을 확인했으며, ICU 입원 예측에서는 약 1.2배의 효율 향상을 보였다. 이러한 결과는 생성형 EHR 모델을 실시간 임상 의사결정에 적용할 수 있는 실용성을 크게 높인다.

상세 분석

본 연구는 토큰 기반 변환기(Transformer) 모델이 의료 이벤트 시퀀스를 다음 토큰 예측 과제로 학습된다는 전제 하에, 미래 환자 경로를 시뮬레이션해 임상 결과 위험을 추정하는 기존 방법의 근본적인 한계를 체계적으로 분석한다. 첫 번째 한계는 “희소 추정값 분포”이다. 전통적인 몬테카를로 방식은 n개의 시뮬레이션 경로 중 결과 토큰이 등장한 비율을 위험 점수로 사용한다. 이때 위험 점수는 0, 1/n, 2/n …와 같이 이산형으로 제한되며, 특히 희귀 사건(예: 0.01% 발생률)에서는 100개의 샘플만으로는 의미 있는 차이를 포착하기 어렵다. 두 번째 한계는 “극단적 계산 비용”이다. 각 환자에 대해 수백~수천 개의 시뮬레이션을 수행하려면 GPU 시간과 메모리가 크게 소모되며, 실제 임상 환경에서 실시간 추론을 방해한다. 세 번째는 “높은 샘플링 분산”이다. 위험 추정값 p에 대해 분산은 p(1‑p)/n으로, n이 작을 경우 불안정한 추정이 발생한다.

SCOPE와 REACH는 이러한 문제를 해결하기 위해 “다음 토큰 확률 분포”라는 정보를 재활용한다. SCOPE는 각 시뮬레이션 경로에서 토큰 t가 결과 토큰 O가 될 확률 P(X_t=O|X_{1:t‑1})를 누적 합산한다. 이때 경로가 O를 만나면 합산을 중단한다. 수식적으로는 S = (1/n)∑{i=1}^n∑{t=1}^{min(T_E, T_O)} P(O|history)이다. 이 접근법은 추정값이 0~1 사이를 연속적으로 가질 수 있어 희소성을 크게 완화한다. 다만 확률 합이 1을 초과할 가능성이 이론적으로 존재하므로, 실험에서는 클리핑 없이도 1을 초과하는 경우가 거의 없었으며, 클리핑 시 무편향성이 깨질 수 있다.

REACH는 보다 강력한 분산 감소를 제공한다. 여기서는 결과 토큰 O를 전혀 샘플링하지 않는 “결과‑배제” 시뮬레이션을 수행한다(즉, ˆP에서 O의 확률을 0으로 설정). 그런 다음 각 단계에서 모델이 할당한 O 발생 확률 h_t = P(O|history) 를 “조건부 위험”으로 해석하고, 1‑h_t 를 생존 확률로 보아 이산 시간 생존 과정의 누적 생존 확률을 계산한다. 최종 추정식은 R = (1/n)∑_{i=1}^n