효율적인 반감독 적대적 학습을 위한 잠재 클러스터링 기반 데이터 축소

초록

본 논문은 반감독 적대적 학습(SSAT)에서 필요로 하는 방대한 외부 데이터 양을 줄이기 위해, 모델의 결정 경계 근처에 위치한 중요한 샘플만을 선택·생성하는 잠재 공간 클러스터링 기반 방법들을 제안한다. k‑means 기반 LCS‑KM과 가이드된 확산 모델을 활용한 LCG‑KM을 포함한 여러 전략이 5∼10배 적은 비라벨 데이터로도 기존 SSAT와 동등한 강인성을 달성하며, 전체 학습 시간을 3∼4배 가량 단축한다.

상세 분석

이 연구는 적대적 학습이 표준 학습보다 샘플 복잡도가 크게 증가한다는 사실에 착안해, 반감독 적대적 학습(SSAT)에서 “모든” 비라벨 데이터를 동등하게 활용하는 것이 비효율적임을 지적한다. 기존 연구가 제시한 바와 같이, 결정 경계에 가까운 샘플은 모델이 경계 형태를 정교하게 학습하도록 유도하는 데 핵심적인 역할을 한다. 이를 기반으로 저자는 세 가지 데이터 선택 메커니즘을 설계한다. 첫 번째인 PCS는 모델의 예측 신뢰도가 낮은 샘플을 직접 추출하는 가장 단순한 방식이다. 두 번째와 세 번째는 잠재 공간 클러스터링을 이용하는 LCS‑KM과 LCS‑GMM이다. 여기서 “잠재 공간”은 라벨이 없는 데이터가 중간 레이어(예: 마지막 컨볼루션 블록)의 임베딩으로 매핑된 공간을 의미한다. k‑means(KM)와 가우시안 혼합 모델(GMM)으로 클러스터를 형성한 뒤, 각 클러스터의 중심으로부터 가장 멀리 떨어진, 즉 불확실성이 높은 샘플들을 선택한다. 이렇게 하면 경계 근처 데이터와 비경계 데이터를 균형 있게 유지하면서도, 전체 데이터셋 대비 정보량이 높은 소수의 샘플만을 확보한다.
또한, 저자는 데이터 생성 단계에서도 효율성을 추구한다. 기존 SSAT는 대규모 DDPM(denoising diffusion probabilistic model)으로 수백만 장의 합성 이미지를 미리 생성하고 이를 학습에 투입한다. 저자는 “가이드된 DDPM 파인튜닝”이라는 새로운 전략을 도입한다. 여기서 가이드 손실은 위에서 정의한 선택 기준(PCS, LCS‑KM, LCS‑GMM)과 일치하도록 설계되어, DDPM이 직접 경계 근처에 해당하는 샘플만을 생성하도록 유도한다. 결과적으로 LCG‑KM과 LCG‑GMM은 전체 합성 데이터셋을 사전 생성할 필요 없이, 원하는 양만큼의 고품질 경계 샘플을 즉시 제공한다.
실험에서는 CIFAR‑10, SVHN, 그리고 COVID‑19 의료 영상 등 다양한 이미지 도메인에서 기존 SSAT와 동일한 강인성(robust accuracy)을 유지하면서 비라벨 데이터 사용량을 5∼10배, 학습 시간은 3∼4배 절감하는 것을 확인했다. 특히 LCS‑KM이 가장 일관된 성능을 보였으며, LCG‑KM은 데이터 생성 비용을 크게 낮추면서도 동일한 효과를 제공한다. 한계점으로는 클러스터링 단계에서 잠재 공간의 차원 축소와 클러스터 수 선택이 성능에 민감하게 작용한다는 점, 그리고 매우 불균형한 데이터 분포에서는 경계 샘플이 과소대표될 위험이 있다는 점을 언급한다. 향후 연구에서는 자동화된 클러스터 수 탐색 및 다중 단계 선택 전략을 통해 이러한 제약을 완화할 수 있을 것으로 기대한다.