결정 중심 순차 실험 설계 방향성 불확실성 기반 접근법

초록

본 논문은 예측‑후‑최적화(predict‑then‑optimize) 환경에서 전통적인 예측 정확도 중심의 실험 설계가 의사결정 손실과 불일치한다는 문제를 지적하고, 예측값을 단위 구에 정규화한 뒤 방향성 불확실성을 측정하는 새로운 순차 실험 설계 기준을 제안한다. 제안 방법은 최적화 오라클 없이 계산 가능하며, 강한 일관성·수렴 보장을 제공하고, 기존 설계보다 조기 중단 시점을 앞당겨 데이터 효율성을 높인다. 실제 LLM 작업 할당 사례와 심혈관 질환 진단 데이터에서 실험적으로 검증하였다.

상세 분석

이 논문은 예측‑후‑최적화(paradigm)라는 특수한 설정을 명확히 정의한다. 여기서는 선형 목적함수의 계수를 예측 모델이 제공하고, 그 예측값을 그대로 선형 최적화 문제에 투입해 의사결정을 수행한다. 전통적인 순차 실험 설계는 예측 오차(예: MSE)를 최소화하는 방향으로 실험을 선택하지만, 선형 최적화에서는 예측값의 규모가 의사결정에 영향을 주지 않으며, 오히려 예측값이 결정 변수와 얼마나 정렬되는가가 핵심이다. 논문은 이 사실을 “Fact 1”이라 명명하고, 이를 기반으로 ‘방향성 불확실성(directional uncertainty)’이라는 새로운 메트릭을 도입한다. 구체적으로, 각 후보 설계 x에 대해 현재 남아 있는 가설 집합 Hₜ의 예측값 h(x)을 ‖·‖₂‑정규화한 뒤, 정규화된 벡터들의 최대 차이를 측정한다. 이는 기존 메트릭 1(예측값 차이)보다 SPO 손실과 더 높은 상관관계를 가지면서도, 메트릭 2(직접 SPO 손실 기반)처럼 매번 최적화 오라클을 호출할 필요가 없어 계산 복잡도가 크게 감소한다. 이론적으로는 (i) 비대칭적인 예측 스케일에 무관하게 일관된 의사결정 품질을 보장하는 강한 일관성(consistency)과 (ii) 기대 손실이 ε 이하가 되는 최소 시점 τ에 대해, 제안 메트릭을 이용한 정책이 전통적 예측‑중심 정책보다 τ가 작음(조기 중단)을 증명한다. 특히, ‘suboptimality gap’ 가정(예측 모델 중 최적과 차이가 있는 모델 사이에 양의 기대 손실 차가 존재한다)을 도입해, 이 가정이 만족되는 분포 클래스(예: 가우시안, 균등 등)에서 조기 중단 이득을 정량화한다. 실험에서는 (1) 심혈관 질환 진단 데이터에서 비용 계수를 예측해 치료 계획을 최적화하고, (2) LLM 작업 할당 시뮬레이션에서 프롬프트 비용을 예측해 모델 선택을 최적화한다. 두 경우 모두 제안 방법이 동일한 SPO 위험을 달성하면서 라벨 수를 30~50% 절감하는 결과를 보였다. 전체적으로, 방향성 불확실성 메트릭은 예측‑후‑최적화 문제에서 “예측 정확도”보다 “결정 관련 방향성”에 초점을 맞춤으로써, 실험 비용을 크게 절감하고 이론적·실험적 타당성을 동시에 확보한다는 점이 가장 큰 공헌이다.