동적 치료 레짐을 위한 근접 최적 Q‑학습 정책

본 논문은 정밀 의학에서 환자 개별 특성에 맞춘 치료 결정을 지원하는 동적 치료 레짐(DTR)의 핵심 알고리즘인 Q‑learning을 확장한다. 전통적인 Q‑learning은 각 단계에서 기대 보상이 가장 큰 단일 행동을 선택해 최적 정책을 도출한다. 그러나 임상 현장에서는 여러 치료 옵션이 거의 동일한 기대 효과를 보이는 경우가 빈번하며, 하나의 정책만을 제시하면 이러한 대안을 간과하게 된다. 이를 해결하고자 저자들은 “worst‑value tolerance”라는 개념을 도입하고, 허용 오차 ε를 하이퍼파라미터로 설정한다. ε는 최적 정책의 기대 가치에서 허용 가능한 최대 편차를 정의한다. 방법론은 기존 역방향 Q‑learning 흐름을 그대로 따르면서, 각 단계 t에서 추정된 Q‑함수 ˆQₜ(hₜ,aₜ)를 이용해 최적값 Q*ₜ(hₜ)=maxₐ ˆQₜ(hₜ,a) 를 구한다. 그 후, Q*ₜ(hₜ)−ε ≤ ˆQₜ(hₜ,a) 를 만족하는 모든 행동 a를 “ε‑허용 행동 집합” Aₜ^ε(hₜ) 에 포함한다. 이렇게 하면 하나의 최적 행동 대신, ε 범위 내에서 동등하게 좋은 여러 행동이 동시에 보존된다. 알고리즘 구현에서는 Q‑값을 스칼라가 아니라, 각 상태에 대해 허용 가능한 행동들의 Q‑값을 행렬 형태로 저장한다. 역전파 과정에서 pseudo‑outcome ˜Yₜ를 계산할 때, 기존의 max 연산을 ε‑허용 max 연산으로 대체한다. 결과적으로, 각 단계에서 정책은 πₜ^ε(hₜ)=argmax_{a∈Aₜ^ε(hₜ)} ˆQₜ(hₜ,a) 로 정의된 다중 정책 집합이 된다. 논문은 두 가지 사례를 통해 제안 방법을 검증한다. 첫 번째는 단일 단계 문제로, 환자 특성에 따라 치료 선택 경계가 형성되는 영역을 시각화한다. ε를 늘리면 결정 경계 주변에 넓은 “무관심 영역(indifference region)”이 형성되어, 여러 치료 옵션이 동등하게 허용됨을 보여준다. 두 번째는 다단계 암 치료 시뮬레이션이다. 여기서는 종양 크기와 치료 독성이라는 두 개의 상태 변수를 모델링하고, 각 단계에서 화학요법, 방사선치료, 관찰 등 여러 옵션을 고려한다. ε‑near‑optimal 정책 집합을 도출함으로써, 동일한 기대 생존율을 유지하면서 독성을 최소화하거나 환자 선호에 맞는 치료 조합을 선택할 수 있는 여지를 제공한다. 실험 결과는 ε가 작을수록 기존 최적 정책과 거의 동일한 성능을 보이며, ε를 적절히 확대하면 정책 다양성이 크게 증가하면서도 평균 기대 가치 손실이 제한적인 수준에 머무른다는 점을 확인한다. 논의 부분에서는 ε 선택의 실용적 가이드라인을 제시한다. 교차 검증이나 임상 전문가 의견을 활용해 ε를 튜닝하고, 정책 집합의 크기와 기대 가치 손실 사이의 트레이드오프를 평가한다. 또한, 다중 정책을 유지함에 따라 계산 비용이 증가하고, 고차원 상태·행동 공간에서 행렬 연산이 부담될 수 있음을 인정한다. 향후 연구로는 부트스트랩 기반 불확실성 추정, 심층 강화학습과의 결합, 그리고 다목표(효능·독성·비용) 최적화를 동시에 고려하는 확장 모델을 제안한다. 최종적으로, 이 접근법은 임상의가 데이터 기반 정책을 검토할 때, “하나의 정답”이 아니라 “여러 합리적인 선택지”를 제공함으로써 임상 의사결정의 유연성과 신뢰성을 높이는 데 기여한다.