활성학습 평가 기준 재고: ALC 지표와 새로운 평가 방안

초록

본 논문은 WCCI 2010 Active Learning Challenge에서 사용된 평가 지표인 ALC(Area under Learning Curve)를 분석하고, 초기 단계에 과도하게 가중되는 문제점을 지적한다. 저자는 무작위 샘플링·불확실성 샘플링·앙상블 결합을 활용한 실험을 통해 기존 지표가 실제 활성학습 과정을 억제한다는 사실을 확인한다. 이를 보완하기 위해 초기 소량 라벨을 무시하고, 라벨 수와 AUC를 조합한 두 가지 새로운 평가 기준을 제안한다.

상세 분석

논문은 먼저 활성학습을 ‘초기‑실제‑검증’의 세 단계로 구분하고, 초기 단계에서 얻은 소수의 라벨이 이후 성능에 미치는 영향을 강조한다. WCCI 2010 챌린지에서는 참가자들의 학습 곡선 아래 면적(ALC)을 최종 점수로 사용했는데, 저자는 ALC 정의식(2)를 전개해 보면 로그 기반 가중치 w_i가 i가 커질수록 급격히 감소함을 보여준다. 즉, 첫 번째 라벨링 단계의 AUC가 전체 점수에 압도적으로 큰 영향을 미치며, 이후 작은 단계적 개선은 거의 무시된다. 이러한 특성은 ‘큰 점프’ 전략—초기에 많은 라벨을 한 번에 확보하고 이후 학습을 중단하는—을 유리하게 만들고, 진정한 의미의 점진적 활성학습을 억제한다.

실험에서는 저자가 제시한 6개의 데이터셋(AF)에 대해 무작위 샘플링, 불확실성 샘플링, 그리고 다양한 분류기(CLOP, GLM, ADA, GBM 등)를 조합한 앙상블을 적용하였다. 초기 50100개의 라벨을 무작위로 선택한 뒤, 결정 함수의 감소 구간을 기준으로 추가 라벨을 선택하는 방식으로 진행했으며, 결과는 표 1과 그림 3·4에 제시된 바와 같이 전체 데이터의 1~9%만 사용했음에도 불구하고 경쟁력 있는 AUC와 ALC 값을 얻었다.

하지만 ALC가 첫 번째 단계에 과도하게 의존한다는 점을 확인한 후, 저자는 두 가지 대안 지표를 제안한다. 첫 번째는 δ(예: 전체 데이터의 1%) 이하의 라벨 수를 평가에서 제외하고, 그 이후 구간만을 ALC와 동일한 방식으로 적분하는 방법이다. 두 번째는 Q = max_i