밀도 인식 최장점 샘플링으로 회귀 모델 성능 향상

초록

본 논문은 라벨링 비용이 높은 상황에서 제한된 학습 데이터를 효율적으로 선택하기 위한 모델‑불가지론적 샘플링 기법인 밀도 인식 최장점 샘플링(DA‑FPS)을 제안한다. Lipschitz 연속 회귀 모델의 평균 예측 오차에 대한 상한을 가중 채우기 거리(weighted fill distance)와 연결시키고, DA‑FPS가 이 상한을 최소화하도록 설계되었음을 이론적으로 증명한다. 실험 결과, 두 종류의 회귀 모델과 세 개의 데이터셋에서 DA‑FPS가 기존 FPS 및 기타 베이스라인보다 평균 절대 오차(MAE)를 현저히 낮추는 것을 확인하였다.

상세 분석

논문은 라벨링 비용이 높은 과학·공학 분야, 특히 분자 특성 예측과 같은 대규모 후보군에서 “얼마나 적은 라벨링으로도 좋은 회귀 성능을 얻을 수 있을까?”라는 실용적 질문을 출발점으로 삼는다. 기존의 액티브 러닝은 모델‑특정 정보를 활용해 반복적으로 라벨을 요청하지만, 라벨링 비용이 극도로 높은 경우에는 한 번에 충분히 대표적인 샘플을 선정해야 한다는 제약이 있다. 이에 저자들은 패시브(수동)이며 모델‑불가지론적인 샘플링 전략에 초점을 맞춘다.

핵심 이론적 기여는 두 단계로 나뉜다. 첫째, Lipschitz 연속 회귀 함수 (f)에 대해 평균 예측 오차 (\mathbb{E}