샘플 효율 모델 성능 추정기의 결함 허용 평가 프레임워크

초록

본 논문은 라벨링 비용을 최소화하면서 모델 성능을 추정하는 샘플‑효율 추정기의 품질을 평가하는 기존 지표(RMSE, p‑value)의 한계를 규명하고, 편향·분산을 동시에 고려한 허용 오차 ε 기반의 결함 허용 평가(FT‑Eval) 방식을 제안한다. 두 개의 단측 TOST 검정을 이용해 추정값이 허용 구간 내에 있는지를 판단하고, 라벨링 예산에 맞춰 ε를 자동 최적화하는 알고리즘을 설계하였다. 실험 결과 FT‑Eval이 전통 지표와 달리 일관된 판단을 제공하며, 73 %의 경우 기존 지표가 상충되는 상황에서도 신뢰할 수 있는 결론을 도출한다.

상세 분석

본 연구는 Model‑as‑a‑Service 환경에서 제3자 AI 모델을 검증할 때, 라벨링 비용 제한 하에 성능을 추정하는 샘플‑효율 추정기의 평가 문제를 다룬다. 기존에는 RMSE와 같은 평균 제곱오차 지표와 두‑측 t‑검정 기반 p‑value가 주로 사용되었지만, 저분산 상황에서 두 지표 모두 근본적인 결함을 보인다. RMSE는 편향²과 분산을 합산한 단일 값으로, 분산이 크게 감소하면 편향이 존재해도 전체 RMSE가 낮게 나타날 수 있다. 이는 라벨링 예산이 늘어나거나 Active Testing과 같이 분산을 효과적으로 줄이는 방법을 적용했을 때, 실제로는 시스템적 과대추정이 발생해도 ‘좋은’ 모델로 오인하게 만든다. 반면, 두‑측 t‑검정은 평균이 실제값과 차이가 있는지를 검증하는데, 분산이 작아질수록 t‑통계량이 편향에 비해 과도하게 커져 사소한 편향도 통계적으로 유의하게 판단한다. 결과적으로, 실제로는 허용 가능한 오차 범위 내에 있더라도 p‑value가 작아 ‘불량’으로 잘못 판단되는 현상이 빈번히 발생한다.

이러한 문제를 해결하기 위해 저자들은 허용 오차 ε를 명시적으로 도입한 결함 허용 평가(FT‑Eval) 프레임워크를 제안한다. 핵심 아이디어는 추정값이