컴퓨터 비전에서의 의사 라벨링: 현황과 미래

초록

본 리뷰는 컴퓨터 비전 분야에서 의사 라벨링(pseudo‑labeling) 기법을 체계적으로 정리한다. 반지도 학습, 자기지도 학습, 지식 증류 등 다양한 학습 패러다임에서 라벨링을 어떻게 생성·활용하는지 살펴보고, 자기‑샤프닝, 다중‑뷰, 다중‑모델 등 공통 메커니즘을 도출한다. 또한 라벨 노이즈에 대한 견고성, 커리큘럼 학습과 정규화 기법과의 연계, 향후 연구 방향을 제시한다.

상세 분석

이 논문은 의사 라벨링을 단순히 반지도 학습(SSL)에서만 사용되는 기법으로 보는 기존 시각을 넘어, 자기지도 학습(SSL)과 비지도 학습(UL)에서도 핵심적인 역할을 한다는 점을 강조한다. 저자들은 라벨 생성 과정을 ‘자기‑샤프닝(self‑sharpening)’, ‘다중‑뷰 학습(multi‑view learning)’, ‘다중‑모델 학습(multi‑model learning)’이라는 세 가지 핵심 특성으로 구분한다. 자기‑샤프닝은 하나의 모델이 단일 뷰(예: 원본 이미지)에서 예측 확률을 온도 스케일링 등으로 강화해 확신이 높은 라벨을 만든다. 다중‑뷰 학습은 동일 샘플에 대해 다양한 데이터 증강을 적용하고, 각 뷰에서 얻은 예측을 평균하거나 투표해 라벨을 결정함으로써 변형에 대한 불변성을 확보한다. 다중‑모델 학습은 학생‑교사 구조, 앙상블, 혹은 교차 라벨링 등 여러 모델이 서로의 예측을 보완하도록 설계한다. 이러한 메커니즘은 라벨 노이즈에 대한 내성을 높이며, 라벨 전파(label propagation)와 같은 전통적 그래프 기반 기법과도 자연스럽게 결합된다.

논문은 또한 라벨링 전략이 ‘엔트로피 최소화(Entropy Minimization)’와 ‘일관성 정규화(Consistency Regularization)’라는 두 이론적 원칙에 의해 뒷받침된다고 설명한다. 엔트로피 최소화는 모델이 높은 확신을 가진 결정 경계를 찾도록 유도하고, 일관성 정규화는 작은 변형(augmentation, adversarial perturbation) 후에도 출력이 일관되도록 강제한다. 이 두 원칙은 라벨을 ‘hard’(one‑hot) 형태로 강제할지, ‘soft’(확률 분포) 형태로 유지할지에 대한 설계 선택에 직접적인 영향을 미친다.

표 1에 제시된 실험 결과는 CIFAR‑10‑4k와 ImageNet‑10% 두 벤치마크에서 최신 의사 라벨링 기법들이 70%~97% 사이의 정확도를 달성함을 보여준다. 특히 ‘FixMatch’, ‘FlexMatch’, ‘Meta‑PL’ 등은 자기‑샤프닝과 다중‑뷰를 결합해 라벨 노이즈를 효과적으로 억제했으며, ‘BYOL’, ‘DINOv2’, ‘CLIP’ 등 자기지도 학습 모델은 사전 학습된 표현을 활용해 라벨링 품질을 크게 향상시켰다.

마지막으로 저자들은 커리큘럼 학습과 정규화가 의사 라벨링과 상호 보완적이라는 점을 강조한다. 라벨링 신뢰도가 높은 샘플부터 학습에 투입하는 커리큘럼 전략은 라벨 노이즈 전파를 억제하고, 정규화 기법은 모델이 불확실한 샘플에서도 안정적인 예측을 유지하도록 돕는다. 이러한 통합적 관점은 앞으로 라벨링 기반 반지도 학습이 더 큰 규모와 복잡한 도메인(예: 의료 영상)으로 확장될 수 있는 길을 제시한다.