적응형 밴드잇 데이터에서 모델 오차를 고려한 오프정책 M추정 신뢰구간

초록

본 논문은 적응형 밴드잇 환경에서 작업 모델이 잘못 지정(misspecified)된 경우에도, 고정된 평가 정책에 대한 오프‑정책 투영 파라미터를 목표로 하여 M‑추정량의 점근적 정규성을 확보하고, 시간에 따라 변동하는 분산을 안정화하는 새로운 추정·검정 절차를 제안한다. 제안 방법은 정책이 수렴하지 않거나 최적 팔이 다수 존재하는 상황에서도 유효한 신뢰구간을 제공한다. 실험은 골관절염 데이터셋을 반합성으로 만든 사례를 통해 기존 방법이 커버리지를 잃는 반면, 제안 방법은 유형 I 오류를 적절히 제어함을 보여준다.

상세 분석

이 연구는 적응형 데이터 수집, 특히 컨텍스트 밴드잇에서 발생하는 비정상적인 의존 구조와 모델 오차(misspecification)라는 두 가지 난제를 동시에 해결하려는 시도이다. 기존 문헌은 대부분 모델이 정확히 지정된 경우에만 점근적 정규성을 보장했으며, 적응형 정책이 수렴하거나 마진이 충분히 큰 상황을 전제했다. 그러나 실제 의료·광고·임상시험 등에서는 정책이 지속적으로 변동하고, 실제 데이터 생성 메커니즘이 선형·GLM 형태와 일치하지 않을 가능성이 높다.

논문은 먼저 “오프‑정책 투영 파라미터” θ★를 정의한다. 이는 고정된 평가 정책 πe(a|x)를 가정하고, 해당 정책 하에서 기대 손실을 최소화하는 θ를 의미한다. 이 정의는 데이터가 비정상적으로 수집되더라도, 목표 파라미터가 시간에 따라 변하지 않는 고정된 분포에 대해 정의되므로 해석이 일관된다.

핵심 이론적 기여는 Theorem 1에서 제시된 중심극한정리(CLT)이다. 여기서는 점수 함수(score function)의 시간‑가변 분산 Σt를 정확히 추정할 수 있으면, M‑추정량 ˆθ는 √T(ˆθ−θ★) → N(0, V) 형태로 수렴한다는 것을 보인다. 중요한 점은 Σt가 고정된 값이 아니라, 정책 πt가 무한히 변동하는 경우에도 일관된 플러그인 추정량을 구성할 수 있다는 점이다. 이를 위해 저자는 두 가지 실용적인 분산 추정 전략을 제시한다. 첫째, 머신러닝 기반의 조건부 분산 예측기로서, 각 시점 t에서 현재 히스토리 Ht‑1을 입력으로 받아 Σt̂를 출력한다. 둘째, 정책이 수렴하는 경우에는 단순히 경험적 공분산을 사용해도 충분하다는 점을 강조한다. 이러한 접근은 기존의 “propensity score truncation”이나 “batching” 기법과 달리, 정책이 수렴하지 않아도 적용 가능하도록 설계되었다.

또한, 논문은 w_t 가중치를 자유롭게 선택할 수 있음을 이용해 점수 함수의 분산을 조절한다. 기존 연구는 w_t 를 고정하거나 정규화된 역확률 가중치로 설정했지만, 여기서는 w_t 를 조건부 분산 추정에 맞추어 동적으로 조정함으로써, 편향을 최소화하면서도 분산을 안정화한다.

실험 부분에서는 Osteoarthritis Initiative 데이터에서 추출한 반합성 시뮬레이션을 사용한다. 여러 밴드잇 알고리즘(UCB, Thompson Sampling 등)을 적용해 정책이 수렴하지 않거나 최적 팔이 다수 존재하는 상황을 만들고, 제안 방법과 기존 방법(예: Zhang 2021, Deshpande 2018)의 커버리지를 비교한다. 결과는 제안 방법이 95 % 신뢰구간에서 실제 파라미터를 94 % 이상 포함하는 반면, 기존 방법은 70 % 이하로 크게 떨어진다. 이는 분산 안정화와 오프‑정책 투영이 모델 오차와 정책 변동성을 동시에 완화한다는 것을 실증적으로 보여준다.

마지막으로 한계점으로는 Σt̂ 를 추정하기 위한 머신러닝 모델의 과적합 위험과, 고차원 컨텍스트에서의 계산 복잡도가 있다. 저자는 향후 연구에서 비선형 M‑추정과 비정상적 히스토리 압축 방법을 탐색할 것을 제안한다.