활성학습 중단을 위한 예측 안정화 방법과 사용자 조정 가능성

초록

본 논문은 기존 활성학습(AL) 중단 기법이 적용 범위 제한, 보수적·불안정한 동작 등 세 가지 문제점을 지적하고, 모델 예측이 일정 수준 이상 안정화될 때 학습을 중단하는 “Stabilizing Predictions”(SP) 방법을 제안한다. SP는 라벨이 필요 없는 정지 집합을 이용해 모델 간 예측 일치를 Kappa 통계량으로 측정하고, 사용자가 강도와 지속 기간을 조절할 수 있도록 설계되었다. 실험 결과 SP가 가장 적은 라벨을 사용하면서도 성능 저하를 최소화함을 보여준다.

상세 분석

본 연구는 활성학습(AL) 과정에서 언제 라벨링을 중단할지를 자동으로 결정하는 문제에 초점을 맞춘다. 기존 방법들은 크게 세 가지 한계가 있다. 첫째, 특정 학습기(예: SVM)나 배치 크기에만 적용 가능한 제한적인 적용 범위; 둘째, 보수적인 중단 기준으로 인해 불필요한 라벨링 비용을 많이 소모한다는 점; 셋째, 데이터셋에 따라 중단 시점이 크게 달라지는 불안정성이다. 이러한 문제를 해결하기 위해 저자들은 “예측 안정화”(Stabilizing Predictions, SP)라는 새로운 중단 기준을 제안한다. 핵심 아이디어는 라벨이 없는 정지 집합(stop set) 위에서 연속적으로 학습된 모델들의 예측 일치를 측정하는 것이다. 예측이 일정 수준 이상 일치하면 모델 성능도 수렴했다고 가정하고 학습을 중단한다.

예측 일치 정도를 측정하기 위해 단순 퍼센트 일치 대신 Kappa 통계량을 사용한다. Kappa는 우연히 발생할 수 있는 일치를 보정해 주므로 데이터마다 기대 일치 수준이 달라지는 문제를 해결한다. 실험에서는 Kappa 임계값을 0.99로 설정했으며, 이는 별도 튜닝 없이 다양한 데이터셋에서 안정적인 결과를 제공한다. 또한, “지속 기간”(longevity)이라는 개념을 도입해 최근 k개의 모델 쌍 간 일치 평균이 임계값을 초과하는 연속 횟수를 요구한다. 기본값으로 k=3을 사용했으며, 이는 급격한 변동을 방지하고 보다 견고한 중단 결정을 가능하게 한다.

SP는 두 가지 사용자 조정 파라미터를 제공한다. 첫째는 Kappa 임계값 자체로, 이를 낮추면 더 보수적인(즉, 늦게 중단) 동작을, 높이면 더 공격적인(즉, 일찍 중단) 동작을 유도한다. 둘째는 지속 기간(k)의 크기로, 큰 k값은 일치가 오래 유지될 때만 중단하도록 하여 보수성을 높인다. 이러한 조정 가능성은 실제 적용 환경에서 라벨링 비용과 성능 요구 사이의 트레이드오프를 사용자가 직접 설정할 수 있게 한다.

실험은 텍스트 분류와 개체명 인식(NER) 두 분야의 여러 공개 데이터셋에서 수행되었다. 기본 학습기로는 SVM을 사용했으며, 선택 전략은 초평면에 가장 가까운 샘플을 순차적으로 쿼리하는 방식이다. 비교 대상은 기존의 LS2008(성능 기울기), SC2000(마진 소진), V2008(신뢰도 감소), ZWH2008(다중 기준) 등이다. 결과는 표 1에 요약되는데, SP는 평균 라벨 수가 가장 적음에도 불구하고 F‑measure 손실이 거의 없거나 다른 방법보다 오히려 높았다. 특히 LS2008과 V2008은 특정 데이터셋에서 과도하게 늦게 중단하거나, 반대로 너무 일찍 중단해 성능이 급격히 떨어지는 불안정한 행동을 보였다. 반면 SP는 거의 모든 실험에서 안정적인 중단 시점을 찾아냈으며, 사용자 정의 파라미터를 변형해도 큰 성능 저하 없이 중단 시점을 조절할 수 있었다.

또한, 정지 집합의 크기와 구성에 대한 민감도 분석을 수행했으며, 2000개의 샘플이 기본 설정으로 충분히 대표성을 확보한다는 결론을 내렸다. 더 큰 집합을 사용할 경우 계산 비용이 증가하지만 성능 변화는 미미했으며, 작은 집합은 빠른 판단을 가능하게 하지만 데이터 다양성이 부족해 불안정성을 초래할 수 있다.

결론적으로, SP는 기존 방법들의 적용 제한성을 극복하고, 라벨링 비용 절감과 성능 유지 사이의 균형을 효과적으로 맞추는 동시에, 사용자가 직접 중단 기준을 조정할 수 있는 유연성을 제공한다. 이는 실제 산업 현장에서 다양한 비용·품질 요구에 맞춰 활성학습 파이프라인을 최적화하는 데 큰 도움이 될 것으로 기대된다.