비대칭 선택 규칙을 위한 온라인 선택적 컨포멀 예측 PEMI 프레임워크

초록

PEMI는 순열 기반 몬드리안 컨포멀 추론을 이용해, 순서에 의존하는 비대칭 온라인 선택 규칙에서도 선택조건부 커버리지를 정확히 보장한다. 전체 순열 혹은 Monte‑Carlo 샘플을 활용해 선택 사건을 보존하는 레퍼런스 집합을 구성하고, 이를 통해 유한 표본 수준에서 정확한 커버리지를 달성한다. 추가적인 오프라인 라벨 데이터 활용, 다중 테스트 샘플 확장, 그리고 세밀한 선택 분류에 대한 FCR 제어까지 포괄한다. 실험은 약물 발견 데이터와 시뮬레이션을 통해 기존 방법 대비 더 작은 예측 집합과 높은 커버리지를 확인한다.

상세 분석

본 논문은 선택적 컨포멀 예측(selective conformal prediction) 문제를 온라인 환경으로 확장하면서, 기존 연구가 전제로 삼았던 “선택 규칙의 순열 불변성”을 포기한다. 온라인에서는 데이터가 순차적으로 들어오고, 이전 선택 결과가 현재 선택에 영향을 미치기 때문에 선택 규칙 Sₜ는 본질적으로 비대칭이다. 이러한 비대칭성을 다루기 위해 저자들은 전체 데이터 순열을 고려하는 새로운 프레임워크 PEMI(Permutation‑based Mondrian Conformal Inference)를 제안한다. 핵심 아이디어는 관측된 데이터 (Z₁,…,Zₜ)의 모든 순열(또는 무작위 샘플) 중에서, 해당 순열이 적용된 뒤에도 동일한 선택 사건 Sₜ=1이 유지되는 순열 집합을 “레퍼런스 집합”으로 정의하는 것이다. 이 레퍼런스 집합 내에서만 컨포멀 점수를 계산하면, 교환가능성(exchangeability) 가정 하에 레퍼런스 집합 자체가 선택 조건부 교환가능성을 만족한다는 점을 증명한다. 따라서 전통적인 컨포멀 방법과 동일하게, 점수의 순위에 기반한 임계값을 사용해 예측 집합 𝐶̂α,ₜ를 구성하면, P(Yₜ∈𝐶̂α,ₜ | Sₜ=1)≥1−α 를 유한 표본 수준에서 정확히 보장한다.

이론적 결과는 두 경우에 대해 성립한다. 첫째, Π를 전체 t! 순열 집합으로 잡을 때, 레퍼런스 집합은 정확히 선택 사건을 보존하는 순열들의 부분집합이며, 균등 분포를 이용해 조건부 확률을 계산한다. 둘째, Π를 Monte‑Carlo 방식으로 무작위 추출한 순열들의 제한된 집합으로 잡을 때도, 동일한 교환가능성 논리를 적용해 커버리지를 유지한다. 후자는 계산 복잡도를 크게 낮추면서도 실무에 적용 가능하도록 설계되었다.

PEMI는 또한 다음과 같은 확장성을 제공한다. (1) 기존 오프라인 라벨 데이터를 추가적인 레퍼런스 원소로 포함시켜, 초기 캘리브레이션 단계에서 더 많은 정보를 활용한다. (2) 다중 테스트 샘플이 동시에 등장하는 상황에서도 각 테스트에 대해 독립적인 레퍼런스 집합을 정의함으로써 선택‑조건부 커버리지를 보장한다. (3) 선택 규칙을 세분화한 “선택 분류(taxonomy)”에 대해 false coverage rate(FCR)를 제어하는 방법을 제시한다.

실제 구현 측면에서는, 저자들이 제시한 세 가지 주요 선택 규칙에 대해 효율적인 알고리즘을 개발했다. 첫째, 순수히 공변량 X에만 의존하는 규칙(예: 특정 임계값 초과 여부)에서는 순열을 재구성할 필요 없이 공변량 순서만 바꾸어 레퍼런스 집합을 빠르게 구한다. 둘째, 컨포멀 p‑값이나 e‑값을 이용한 온라인 다중 검정 절차에서는 기존의 순열 테스트와 유사하게 p‑값 순위를 활용해 레퍼런스 집합을 추출한다. 셋째, 이전 라벨 Y₁,…,Yₜ₋₁의 가중 평균이나 분위수를 기준으로 선택하는 경우에도, 가중치가 순열에 따라 어떻게 변하는지를 추적함으로써 레퍼런스 집합을 효율적으로 계산한다.

실험에서는 실제 약물 발견 데이터(수천 개의 화합물, 고차원 피처)와 다양한 시뮬레이션 시나리오를 사용했다. 결과는 기존 온라인 선택적 컨포멀 방법(CAP, EXPRESS 등)이 종종 무한히 큰 예측 집합을 생성하거나 커버리지가 부족한 반면, PEMI는 평균 예측 집합 크기가 현저히 작고, 선택‑조건부 커버리지는 명목 수준(α)와 거의 일치함을 보여준다. 또한 Monte‑Carlo 순열 샘플링을 이용한 근사 버전도 정확도와 효율성 사이에서 좋은 균형을 이루었다.

전반적으로 PEMI는 비대칭 온라인 선택 규칙을 다루는 최초의 일반적 프레임워크이며, 교환가능성에 기반한 순열 테스트 관점을 통해 선택‑조건부 커버리지를 유한 표본 수준에서 정확히 보장한다는 점에서 이론적·실무적 기여가 크다.