예측 기반 반감시: 라벨 부족 환경에서 위험을 실시간 추적하는 새로운 프레임워크

초록

본 논문은 라벨이 제한된 실시간 서비스에서 모델 성능 저하를 조기에 감지하기 위해, 보조 모델이 생성한 합성 라벨을 활용하고 소량의 실제 라벨로 편향을 보정하는 반감시 기법인 Prediction‑Powered Risk Monitoring(PPRM)을 제안한다. PPRM은 언제든지 유효한 하한을 제공하며, 허위 경보 확률에 대한 무가정 유한표본 보장을 갖는다. 이미지 분류, 대형 언어 모델(L​LM) 감시, 통신 채널 모니터링 실험을 통해 기존의 완전 감독(SRM) 및 순수 비감시 방법보다 빠르고 정확하게 위험을 탐지함을 입증한다.

상세 분석

PPRM은 기존의 Supervised Risk Monitoring(SRM)이 라벨이 풍부한 상황에서만 적용 가능한 한계를 극복한다. SRM은 Hoeffding이나 Empirical Bernstein과 같은 집중 부등식을 이용해 소스 위험 R₀에 대한 상한 U₀와 실행 위험 (\bar R_t)에 대한 하한 L_t을 구성하고, 두 경계가 교차하면 알람을 발생시킨다. 그러나 라벨이 부족하면 (\hat R_t)의 분산이 커져 경계가 넓어지고, 탐지 지연이 발생한다.

PPRM은 Prediction‑Powered Inference(PPI) 아이디어를 차용한다. 보조 모델 (f_p(\cdot))가 입력 (\tilde x)에 대해 예측한 라벨 (\tilde y)를 합성 라벨로 사용하고, 실제 라벨이 있는 소량의 샘플을 이용해 이 합성 라벨이 초래하는 편향을 보정한다. 구체적으로 소스 위험 추정식은
\