배치형 능동학습을 위한 부분 배치 라벨 샘플링과 베이지안 의사결정 이론

초록

본 논문은 베이지안 의사결정 이론을 기반으로 한 마이옵식(active learning) 프레임워크를 제시하고, 배치 크기가 커질 때 발생하는 계산 복잡도와 성능 저하 문제를 해결하기 위해 Partial Batch Label Sampling(ParBaLS) 기법을 도입한다. EPIG(예측 상호정보) 기준에 ParBaLS를 적용한 알고리즘은 다양한 데이터셋에서 기존 방법들을 능가하는 성능을 보이며, Bayesian Logistic Regression을 신경망 임베딩에 적용한 실험 결과도 제공한다.

상세 분석

논문은 먼저 베이지안 의사결정 이론(BDT)을 능동학습에 적용해 “한 번에 하나의 라벨만 얻는다”는 마이옵식 가정을 수식적으로 전개한다. 이 과정에서 기대 오류 감소(EER)와 예측 상호정보(EPIG) 등 기존의 여러 획득 함수가 동일한 최적화 목표, 즉 라벨링 후 검증 집합에 대한 기대 엔트로피 최소화와 동등함을 보인다. 배치 상황에서는 전통적인 Top‑B 방식이 라벨 간 의존성을 무시해 중복 선택과 성능 저하를 초래하고, BatchBALD와 같은 그리디 방법은 라벨 조합 수가 배치 크기와 함께 지수적으로 늘어나 계산이 불가능해진다. 저자는 이러한 문제를 “부분 배치(partial batch)” 개념으로 재구성한다. 즉, 아직 실제 라벨을 받지 않은 후보 집합 S를 미리 정하고, S에 대한 가상 라벨을 Monte‑Carlo 샘플링으로 생성한 여러 “우주”(universe)에서 각각 모델을 학습한다. 각 우주별 EPIG 점수를 평균해 현재 후보 중 가장 기대 정보 이득이 큰 데이터를 선택하고, 선택된 데이터에 대해 각 우주별 가상 라벨을 부여해 모델을 업데이트한다. 이 과정을 배치 크기 B만큼 반복하면 실제 라벨을 요청할 최종 배치를 얻는다. 핵심은 라벨 조합을 전부 열거하지 않고, 라벨 샘플 m개(보통 m≤k, k는 posterior 샘플 수)만으로 기대 정보를 추정함으로써 계산 복잡도를 O(B·N·m·k·C)로 제한한다. 또한 Monte‑Carlo 추정의 분산이 O(1/√m)으로 배치 크기에 의존하지 않아, 적은 샘플 수로도 안정적인 성능을 확보한다. 실험에서는 Bayesian Logistic Regression을 사용해 테이블, 텍스트, 이미지(신경망 임베딩) 데이터에 적용했으며, ParBaLS‑EPIG가 Top‑B, BatchBALD, PowerBALD 등 다양한 베이스라인을 전반적으로 앞섰다. 특히 라벨 불균형 및 제한된 예산 상황에서도 강인한 성능을 보였으며, MAP 라벨을 이용한 단일‑우주 버전도 경쟁력을 유지한다. 이론적 기여는 MBDT(마이옵식 베이지안 의사결정 이론) 프레임워크를 통해 기존 획득 함수를 통합적으로 설명하고, ParBaLS를 통해 배치형 능동학습의 계산·성능 트레이드오프를 효과적으로 해결한 점이다.