입원 환자 오버플로우 관리에 최적화된 PPO 기반 스케일러블 의사결정 프레임워크

초록

본 논문은 시간‑주기적 장기 평균 비용 MDP를 대상으로, 원자화된 행동과 부분 공유 정책 네트워크, 큐잉 기반 가치 함수 근사를 결합한 Proximal Policy Optimization(PPO) 알고리즘을 제안한다. 20개의 환자군·병동까지 확장 가능한 이 방법은 기존 근사 동적 계획법(ADP) 대비 시뮬레이션 데이터 요구량을 크게 줄이며, 실제 병원 사례에서 비용 절감 및 대기시간 감소 효과를 입증한다.

상세 분석

이 연구는 입원 환자 흐름 관리라는 복합적인 매칭 문제를 강화학습(RL) 프레임워크에 효과적으로 매핑한다는 점에서 학술적·실무적 의의가 크다. 첫째, 환자‑병동 매칭은 다중 클래스·다중 서버 구조를 갖는 병렬 서버 큐잉 시스템으로 모델링되며, 상태공간은 각 병동의 현재 대기 인원과 각 환자군의 도착·퇴원 이력 등으로 구성돼 차원 폭발을 초래한다. 기존 연구는 주로 상태공간만을 근사하고, 행동공간(가능한 배정 조합)이 커서 5개 이하의 병동에만 적용 가능했다.

둘째, 논문은 ‘원자화된 행동(atomic actions)’이라는 혁신적 아이디어를 도입한다. 복합적인 다환자 배정 결정을 순차적인 단일 환자 배정으로 분해함으로써 행동 차원을 급격히 축소한다. 이 접근은 FENG 등(2021)의 라이드헤일링 연구를 무한히 긴 평균 비용 설정에 확장한 것으로, PPO와 결합했을 때 정책 성능이 ADP와 동등하거나 우수함을 실증한다.

셋째, 시간‑주기성을 고려한 정책 설계가 핵심이다. 환자 도착·퇴원은 일·주기 패턴을 보이므로, 정책 네트워크를 ‘부분 공유(partially‑shared)’ 구조로 설계했다. 즉, 기본적인 파라미터는 전체 시간대에 공유하면서, 각 시간 구간별로 작은 전용 레이어를 두어 주기적 변동에 적응한다. 이는 파라미터 수를 크게 늘리지 않으면서도 시계열 특성을 반영하는 효율적인 설계다.

넷째, 가치 함수 근사에 큐잉 이론을 활용한다. 전통적인 PPO는 일반적인 신경망 기반 가치 추정에 의존하지만, 여기서는 대기열 길이와 서비스율 등 큐잉 시스템의 구조적 정보를 베이스 함수로 포함시켜 학습 샘플 효율성을 크게 향상시켰다. 결과적으로 시뮬레이션 데이터 요구량이 기존 대비 30~50% 감소한다.

다섯째, 실험은 20개의 환자군·20개의 병동을 갖는 대규모 시나리오까지 확장 가능함을 보여준다. 성능 평가는 평균 비용, 대기시간, 병동 이용률 등 다각도로 수행했으며, 모든 벤치마크(ADP, 선형 프로그래밍, 휴리스틱 규칙)보다 우수하거나 동등한 결과를 기록했다. 특히, 1020병동 구간에서 ADP는 계산 불가능한 반면, PPO‑Atomic은 23시간 내에 수렴했다.

마지막으로, 정책 해석 가능성에도 주목한다. 학습된 정책은 ‘대기시간이 짧아질 것으로 예상되는 시간대에는 오버플로우를 최소화하고, 급증이 예상되는 구간에서는 선제적으로 오버플로우’를 선택하는 등 현장 관리자들의 직관과 일치한다. 이는 도메인‑특화 설계가 일반적인 하이퍼파라미터 튜닝보다 성능 향상에 더 큰 영향을 미친다는 논문의 주장과 부합한다.

전반적으로 이 논문은 대규모 매칭·큐잉 문제에 PPO를 적용하기 위한 구조적·알고리즘적 혁신을 제시하며, 의료 운영관리뿐 아니라 물류, 라이드헤일링, 데이터센터 작업 스케줄링 등 다양한 분야에 확장 가능한 프레임워크를 제공한다.