위험포함 맥락 밴딧을 활용한 초기 임상시험 용량 최적화

초록

본 논문은 초기 단계 임상시험에서 효능과 안전성을 동시에 고려한 용량 할당을 위해 위험포함 맥락 밴딧(RiTS) 알고리즘을 제안한다. 두 개의 톰슨 샘플러(효능·안전)와 가중치 파라미터를 결합해 개인별 공변량을 활용하고, AsympCS 기반의 시간-균등 신뢰구간을 통해 언제든 유효한 추정과 조기 중단 판단을 가능하게 한다. 시뮬레이션 및 실제 Phase Ib 데이터 분석 결과, 전통적인 무작위 할당 및 효능만을 고려한 밴딧에 비해 효능·안전성 균형이 크게 개선됨을 보인다.

상세 분석

이 연구는 초기 임상시험, 특히 용량 탐색 단계에서 발생하는 “효능‑안전성 트레이드오프” 문제를 강화학습과 순차적 인과추론의 최신 이론으로 해결하고자 한다. 먼저 저자들은 임상시험을 컨텍스트 멀티‑암드 밴딧(CMAB) 문제로 모델링한다. 각 환자는 d 차원의 공변량 Xₙ을 가지고, K개의 치료군(플라시보 포함) 중 하나에 무작위로 할당된다. 효능 Rₙ(a)와 안전성 Sₙ(a)는 각각 선형 모델 µₐ(Xₙ)+εₙ, νₐ(Xₙ)+δₙ 로 가정하고, εₙ,δₙ는 정규오차이다. 이 모델은 “작업 모델”로서 학습 효율을 높이지만, 추정 단계에서는 모델 오차에 강인하도록 설계되었다.

핵심 알고리즘인 RiTS(Risk‑inclusive Thompson Sampling)는 두 개의 독립 톰슨 샘플러를 운용한다. 효능용 샘플러는 βₐ 파라미터의 사후분포에서 M개의 샘플을 추출하고, 안전성용 샘플러는 γₐ 파라미터에서 동일하게 샘플링한다. 각 샘플에 대해 환자 공변량 x를 대입해 예측값 b₀+ xᵀb와 g₀+ xᵀg을 얻고, 가중치 w∈(0,1)를 이용해 ω = w·(효능예측) + (1‑w)·(안전예측) 로 결합한다. 최종 할당 확률 qₙ(a,x)는 ω가 가장 큰 팔을 선택하는 샘플들의 비율로 정의된다. 이 구조는 효능과 안전성을 선형 결합해 정책을 조정하므로, 임상 현장에서 사전 안전 기준(예: 독성 한계)이나 효능 목표에 따라 w를 직관적으로 설정할 수 있다.

알고리즘의 탐색‑활용 균형을 위해 “클리핑” 기법을 도입한다. 즉, 할당 확률이 사전 지정 최소값 m보다 작아지지 않도록 제한해, 희소한 용량군도 일정 수준 탐색을 보장한다. 이는 특히 작은 샘플 크기의 초기 단계에서 과도한 탐색 손실을 방지한다.

추정 단계에서는 AsympCS(Asymptotic Confidence Sequences)를 확장해 CMAB 환경에 적용한다. 정의에 따르면, 추정량 \hatΔₙ에 대해 ( \hatΔₙ−Lₙ, \hatΔₙ+Uₙ ) 형태의 구간이 모든 n에 대해 동시에 1−α 수준의 커버리지를 제공한다. 저자들은 기존 AsympCS가 독립·동일분포(i.i.d.) 가정에 의존한다는 점을 인식하고, 마틴게일 중심화와 조건부 평균 제로성을 이용해 MAB/CMAB 데이터에도 동일한 시간‑균등 보장을 증명한다. 특히 모델이 잘못 지정되었을 때도 비편향 추정량을 사용하면 AsympCS의 유효성이 유지된다는 점을 정리 1과 보조 정리들을 통해 엄밀히 입증한다.

시뮬레이션에서는 (i) 다양한 용량‑반응 곡선, (ii) 공변량에 따른 이질성, (iii) 모델 오차(오버/언더스펙) 상황을 고려했다. 결과는 RiTS가 평균 효능 점수와 안전성 지표 모두에서 전통적인 ER 및 효능‑전용 TS보다 낮은 누적 레그(누적 손실)를 보였으며, 조기 중단 규칙을 적용했을 때 평균 시험 기간이 20‑30% 단축되었다. 실제 Phase Ib 알로페시아 아레아타 데이터에 적용한 결과, RiTS가 사후 효능‑안전성 트레이드오프 곡선을 정확히 재현했으며, 최적 용량 선택이 기존 전문가 의견과 일치함을 확인했다.

전반적으로 이 논문은 (1) 효능·안전성을 동시에 고려한 다목표 밴딧 설계, (2) 임상시험 특유의 작은 샘플·공변량 의존성에 맞춘 베이지안 학습, (3) 모델 오차에 강인한 시간‑균등 추정 프레임워크를 통합함으로써 초기 임상시험 설계·분석에 실용적인 혁신을 제공한다는 점에서 의의가 크다.