혈액투석 환자 빈혈 치료 최적화를 위한 강화학습 접근

초록

본 연구는 혈액투석 환자의 빈혈 치료에 사용되는 ESA(적혈구 생성 촉진제) 투여를 최적화하기 위해 마코프 결정 과정(MDP) 기반 강화학습(RL) 프레임워크를 제안한다. 데이터 효율성이 높은 Fitted Q‑Iteration(FQI) 알고리즘을 적용하여 환자별 맞춤형 투여 정책을 학습하고, 기존 표준 프로토콜 및 전통적인 Q‑Learning과 비교 실험을 수행하였다. 시뮬레이션 결과, FQI 기반 정책은 목표 혈색소 범위 내에 머무는 환자 비율을 27.6% 향상시키고, ESA 사용량을 5.13% 절감하는 등 현행 프로토콜보다 우수한 성능을 보였다.

상세 분석

이 논문은 혈액투석 환자에서 빈혈을 관리하기 위한 ESA 투여 전략을 강화학습으로 재구성한 점에서 학술적·임상적 의의를 가진다. 먼저 환자 상태를 혈색소(Hb) 수치, 이전 투여량, 환자 특성(연령, 체중, 염증 지표 등)으로 구성된 고차원 상태공간으로 정의하고, 가능한 투여량 구간을 행동 집합으로 설정하였다. 이러한 설계는 MDP의 마코프성 가정을 만족하도록 설계되었으며, 장기적인 Hb 변동을 고려한 보상함수(목표 범위 내이면 양의 보상, 초과·미달이면 패널티)를 통해 정책 학습이 이루어졌다.

알고리즘 선택에 있어 저자들은 전통적인 Q‑Learning이 데이터 효율성이 낮아 실제 임상 데이터에서 과적합 및 수렴 문제를 일으킬 수 있음을 지적하고, 대신 Fitted Q‑Iteration을 채택하였다. FQI는 각 반복 단계에서 기존 경험 데이터를 이용해 회귀 모델(본 연구에서는 Extremely Randomized Trees)을 학습함으로써 Q‑함수를 근사한다. 이 방식은 샘플 효율성을 크게 높여 제한된 환자 데이터에서도 안정적인 정책을 도출할 수 있다.

시뮬레이션 환경은 기존의 약동학·약력학 모델을 확장한 ESA‑Hb 동역학 모델을 사용하였다. 모델은 ESA 투여 후 Hb가 70~120일에 걸쳐 안정화되는 지연 효과와 환자 간 변이성을 확률적 파라미터로 반영한다. 이를 통해 가상의 환자군(수천 명)에게 다양한 투여 시나리오를 적용하고, 각 정책의 성능을 장기 Hb 유지율과 약물 사용량 두 축으로 평가하였다.

실험 결과, FQI 기반 정책은 표준 프로토콜 대비 목표 Hb 범위 내에 머무는 비율을 27.6% 상승시켰으며, 동시에 ESA 사용량을 5.13% 절감하였다. 반면 Q‑Learning은 학습 안정성 부족으로 FQI에 비해 현저히 낮은 성능을 보였다. 이러한 차이는 FQI가 데이터 재활용과 비선형 함수 근사에 강점을 갖는 점을 입증한다.

한계점으로는 모델 기반 시뮬레이션에 의존했기 때문에 실제 임상 환경에서의 변동성(예: 급성 염증, 혈액 손실 등)을 완전히 포착하지 못한다는 점을 들었다. 또한 보상 설계가 목표 Hb 범위와 약물 비용에만 초점을 맞추었으며, 환자 개별 부작용이나 장기 사망률 등 복합적인 임상 목표를 포함하지 않았다. 향후 연구에서는 실제 전자 의료 기록(EMR) 데이터를 활용한 전향적 검증과, 다목표 보상 설계, 그리고 정책의 실시간 적용 가능성을 검증할 필요가 있다.

전반적으로 본 연구는 강화학습, 특히 FQI가 복잡한 약물 투여 최적화 문제에 적용될 수 있음을 실증적으로 보여주며, 기존 규칙 기반 프로토콜을 넘어선 맞춤형 치료 전략 개발의 가능성을 제시한다.