경쟁 결과를 고려한 집합값 동적 치료 정책 설계

초록

본 논문은 치료 효과와 부작용 등 서로 경쟁하는 다중 결과를 동시에 고려할 수 있는 동적 치료 정책(DTR)을 제안한다. 기존 Q‑learning 등은 단일 결과만 최적화하지만, 저자는 각 의사결정 시점에서 ‘열등하지 않은’ 치료들을 모두 포함하는 치료 집합을 반환하는 집합값 함수(sequence of set‑valued functions)를 구축한다. 다단계 의사결정 문제를 선형 혼합 정수계획(LMIP)으로 재구성해 정확한 열거 알고리즘을 제시하고, 우울증 및 조현병(CATIE) 임상 데이터를 통해 실용성을 검증한다.

상세 분석

이 연구는 임상 의사결정 과정에서 다중 결과가 상충할 때 발생하는 근본적인 한계를 짚고 넘어간다. 전통적인 Q‑learning이나 A‑learning은 하나의 보상 함수(예: 치료 효과)만을 최적화하도록 설계돼, 부작용, 비용, 환자 선호도 등 다른 중요한 결과를 무시한다는 비판을 받아왔다. 저자들은 이러한 문제를 해결하기 위해 ‘집합값 동적 치료 정책(set‑valued DTR)’이라는 새로운 프레임워크를 도입한다. 핵심 아이디어는 각 결정 시점에서 환자 히스토리를 입력받아, 경쟁하는 모든 결과에 대해 열등하지 않은 치료들의 부분집합을 반환하는 함수 ( \Pi_t(H_t) \subseteq \mathcal{A}_t ) 를 정의하는 것이다. 여기서 ‘열등하지 않다’는 의미는 어떤 치료도 다른 치료에 비해 모든 결과에서 동시에 더 나쁘지 않다는 조건을 만족한다는 뜻이다.

수학적으로는 각 결과 (Y^{(k)})에 대해 Q‑함수 (Q_t^{(k)}(H_t,a)) 를 추정하고, 치료 a가 비열등인지 판단하기 위해 다중 결과 간의 파레토 우월성(parallel dominance) 관계를 검증한다. 다단계 상황에서는 현재 단계에서 선택 가능한 치료 집합이 미래 단계에서의 집합값 정책에 영향을 미치므로, 전체 정책을 구성하기 위해 전역적인 열거가 필요하다. 이를 해결하기 위해 저자들은 문제를 선형 혼합 정수계획(LMIP) 형태로 변환한다. 변수는 각 치료‑결정 시점의 선택 여부를 0/1로 나타내며, 제약식은 파레토 우월성 조건과 치료 선택의 일관성을 강제한다. LMIP는 기존 MILP 솔버(CPLEX, Gurobi 등)로 정확히 해결 가능하므로, 최적의 집합값 정책을 보장한다.

알고리즘적 측면에서 저자들은 두 단계로 구성된 절차를 제시한다. 첫 번째 단계는 각 결과별 Q‑함수를 비모수 혹은 반모수 방법으로 추정하고, 이를 통해 치료 간 차이를 추정한다. 두 번째 단계는 추정된 차이를 이용해 LMIP를 구성하고, 최적 해를 구해 각 히스토리별 치료 집합을 도출한다. 이 과정은 기존 단일 결과 DTR 추정에 비해 계산량이 증가하지만, 현대 MILP 솔버의 효율성 덕분에 실용적인 데이터 규모(수백 명, 수십 개 변수)에서도 충분히 수행 가능하다.

실증 분석에서는 우울증 치료 연구와 조현병(CATIE) 임상시험 데이터를 사용한다. 우울증 데이터에서는 치료 효과(우울증 점수 감소)와 부작용(체중 증가) 두 결과를 동시에 고려했으며, 제안된 집합값 정책은 기존 Q‑learning이 제시한 단일 치료와 달리 환자별로 1~2개의 후보 치료를 제시해 임상의 선택 여지를 제공한다. CATIE 데이터에서는 효능(증상 개선)과 대사 부작용(혈당, 체중) 두 축을 동시에 검토했으며, 결과적으로 몇몇 환자군에서는 기존 정책이 과도하게 특정 약물을 선호했지만, 집합값 정책은 보다 균형 잡힌 후보군을 제시함을 확인했다.

이 논문의 주요 기여는 (1) 다중 결과를 동시에 고려하는 DTR 프레임워크를 이론적으로 정립, (2) 파레토 우월성을 기반으로 한 집합값 정책 정의, (3) 이를 정확히 풀 수 있는 LMIP 기반 열거 알고리즘 제공, (4) 실제 임상 데이터에 적용해 실용성을 입증한 점이다. 한계로는 Q‑함수 추정 단계에서 모델 오차가 집합값 정책에 직접 전이될 위험, 그리고 치료 후보가 매우 많을 경우 LMIP 규모가 급증해 계산 부담이 커질 수 있다는 점을 들 수 있다. 향후 연구에서는 베이지안 추정으로 불확실성을 정량화하거나, 근사적 MILP 해법을 도입해 대규모 문제에 대한 확장성을 모색할 필요가 있다.