인간인루프 머신러닝 개발을 위한 정량적 과적합 관리 시스템 ease ml meter

**1. 연구 배경 및 동기** 머신러닝 모델을 실제 서비스에 적용하기 위해서는 반복적인 학습·튜닝·검증·테스트 과정이 필수적이다. 최근 AutoML, 분산 학습, 자원 관리 등 자동화 기술이 크게 발전했음에도 불구하고, 인간이 직접 모델을 개선하는 “인간‑인‑루프” 단계에서는 여전히 두 가지 핵심 문제가 남아 있다. 첫째, 검증 집합과 테스트 집합을 여러 차례 조회하면서 통계적 힘이 급격히 감소한다는 점이다. 특히 적응형 분석(adaptive analysis) 상황에서는 동일 데이터에 대한 반복 질의가 과적합을 유발하고, 결국 테스트 결과가 실제 데이터 분포를 반영하지 못한다. 둘째, 개발자는 “검증·테스트 데이터는 얼마나 크게 잡아야 하는가?”라는 실질적인 질문에 대해 구체적인 가이드라인이 부족하다. 기존의 단순히 “가능하면 크게”라는 답변은 라벨링 비용과 데이터 수집 비용을 무시한다. **2. 시스템 목표와 설계 원칙** 논문은 이러한 문제를 해결하기 위해 **ease ml meter**라는 데이터 관리 시스템을 제안한다. 시스템은 (i) 사용자가 정의한 오류 허용량 ε_tot 과 신뢰도 δ 에 대해 검증·테스트 데이터의 최소 크기를 계산하고, (ii) 개발 과정에서 검증·테스트 데이터를 지속적으로 모니터링해 과적합 여부를 실시간으로 알린다. 핵심 설계 원칙은 “과적합을 두 부분으로 분리”하고, 각각을 독립적으로 추정·제어한다는 점이다. - **경험적 과적합** |ℓ(H, D_val) − ℓ(H, D_test)| : 검증 집합과 테스트 집합 사이의 손실 차이를 직접 측정한다. 이 값이 ε_tot 의 일정 비율을 초과하면 새로운 검증 집합을 요구한다. - **분포적 과적합** |ℓ(H, D_test) − ℓ(H, 𝔻)| : 테스트 집합이 실제 데이터 분포 𝔻 와 얼마나 차이 나는지를 추정한다. 여기서는 직접적인 측정이 불가능하므로 적응형 통계 질의 이론을 활용한다. **3. 이론적 기반: 적응형 통계 질의** 적응형 통계 질의는 사용자가 이전 질의 결과를 바탕으로 새로운 질의를 설계할 때, 샘플 복잡도가 어떻게 증가하는지를 분석한다. 기존 연구