활성 전이 배깅: 전이학습과 배깅 기반 모델로 가속화된 활성학습 데이터 확보 방법

초록

본 논문은 기존 무작위 시드 선택의 한계를 극복하고자, 소스 데이터셋의 정보를 활용해 초기 학습 데이터를 최적화하는 “Active‑Transfer Bagging(ATBagging)” 기법을 제안한다. bagged 앙상블의 in‑bag·out‑of‑bag 예측 분포 차이를 KL‑다이버전스로 근사한 정보이득 점수를 계산하고, 이를 품질‑다양성 분해를 적용한 Determinantal Point Process(DPP)와 결합해 다양성을 보장한다. QM9, ERA5, Forbes 2000, 베이징 PM2.5 등 네 가지 실험에서 낮은 시드 규모(10‑100)에서도 학습 곡선 아래 면적(AUC‑LC)이 크게 향상됨을 보였다.

상세 분석

ATBagging은 두 가지 핵심 요소, 즉 ‘정보성(informativeness)’과 ‘이질성(heterogeneity)’을 동시에 만족시키는 시드 서브셋을 자동으로 생성한다. 정보성은 베이지안 관점에서 bagged 앙상블을 해석함으로써 얻어진다. 구체적으로, 각 데이터 포인트에 대해 부트스트랩 샘플에 포함된 모델(in‑bag)과 제외된 모델(out‑of‑bag)의 예측 평균(µ)과 공분산(Σ)을 구하고, 이 두 분포 사이의 KL‑다이버전스를 계산한다. 이 KL값은 해당 포인트가 모델의 사후 예측 분포를 얼마나 크게 변화시키는지를 정량화하며, EPIG와 동일한 정보이득 정의를 근사한다. 수식적으로는
KL = ½·tr(Σ_oob⁻¹Σ_ib) + (µ_oob‑µ_ib)ᵀΣ_oob⁻¹(µ_oob‑µ_ib) − n − ln|Σ_oob| + ln|Σ_ib|
와 같이 표현된다. 여기서 n은 테스트 포인트 수이며, Σ와 µ는 테스트 집합 X*에 대한 예측값을 기반으로 추정한다. 이 과정은 전체 데이터에 대해 O(N·M) 연산이지만, M(앙상블 크기)을 적절히 조정하면 실시간 계산이 가능하다.

다음으로 이질성 확보를 위해 DPP를 도입한다. DPP는 L‑ensemble 행렬 L_ij = q_i·ϕ_iᵀϕ_j·q_j 형태로 구성되는데, ϕ_i는 Random Fourier Feature(RFF)로 근사한 RBF 커널을 이용해 얻은 임베딩이며, q_i는 앞서 계산된 정보성 점수(IG_i)이다. 즉, 품질‑다양성 팩터화(quality‑diversity factorization)를 통해 각 포인트의 중요도와 서로 간의 유사성을 동시에 반영한다. RFF를 사용함으로써 고차원 커널을 직접 계산하지 않고도 내적 연산만으로 L을 구성할 수 있어 메모리와 시간 복잡도가 크게 감소한다. 또한, 논문 부록에 제시된 빠른 DPP 샘플링 알고리즘을 적용하면 10⁴‑10⁵ 규모 데이터에서도 수 초 내에 원하는 크기(k)의 서브셋을 추출한다.

ATBagging 알고리즘은 크게 네 단계로 요약된다. (1) 전체 소스 데이터에 대해 bagged 앙상블을 학습하고, 각 포인트별 in‑bag·out‑of‑bag 모델 집합을 구분한다. (2) 테스트 집합 X*에 대해 두 모델 집합의 평균·공분산을 계산하고, KL‑다이버전스로 정보성 점수를 산출한다. (3) 각 포인트를 RFF로 임베딩하고, 정보성 점수를 품질 파라미터 q_i에 곱해 L 행렬을 만든다. (4) DPP 샘플러를 이용해 L 기반으로 다양성을 보장한 k‑size 서브셋을 선택한다. 선택된 서브셋은 이후 활성학습 단계에서 초기 시드로 사용되며, 동일한 DPP‑기반 절차를 반복해 새로운 라벨링 포인트를 배치한다.

실험에서는 두 종류의 전이 시나리오를 다룬다. 첫 번째는 ‘타깃 전이(target‑transfer)’로, 입력 특성 X는 동일하지만 라벨 Y가 다른 경우(예: ERA5의 강수량 vs. 유출량, QM9의 저품질 vs. 고품질 에너지)이다. 두 번째는 ‘특성 이동(feature‑shift)’으로, X와 Y 모두 분포가 달라지는 경우(예: Forbes 2000 기업 재무 특성 vs. 시장 가치, 베이징 PM2.5 기상·오염 특성)이다. 각 데이터셋에 대해 n_seed=10,20,50,100의 다양한 시드 크기를 실험했으며, 비교 대상으로는 무작위 샘플링, 핵심점 기반 코어셋, 기존 정보성 기반 활성학습(예: BALD, EPIG) 등을 사용했다. 결과는 대부분의 경우 ATBagging이 초기 학습 정확도와 AUC‑LC에서 우수함을 보여준다. 특히 시드가 10~30 정도로 매우 작은 상황에서 성능 격차가 두드러졌으며, 이는 초기 모델이 보다 균형 잡힌 특성 공간을 커버하고, 높은 정보성을 가진 포인트를 포함하기 때문으로 해석된다.

한계점으로는 (1) KL‑다이버전스 근사가 bagged 앙상블의 수와 데이터 복잡도에 민감하다는 점, (2) DPP 샘플링 시 L 행렬의 스펙트럼 특성에 따라 샘플링 편향이 발생할 가능성, (3) 매우 고차원 혹은 희소 데이터에 대해 RFF 차원 R 선택이 성능에 큰 영향을 미친다는 점을 들 수 있다. 향후 연구에서는 (i) 딥 앙상블을 활용한 더 정교한 베이지안 근사, (ii) 커스텀 커널 기반 DPP 설계, (iii) 온라인/스트리밍 환경에서의 시드 업데이트 메커니즘을 탐색할 여지가 있다. 전반적으로 ATBagging은 전이 가능한 기존 라벨 데이터를 효과적으로 활용해 초기 라벨링 비용을 크게 절감하고, 활성학습의 수렴 속도를 가속화하는 실용적인 프레임워크로 평가된다.