노이즈 라벨을 활용한 컨볼루션 신경망 학습 방법

초록

본 논문은 라벨이 불완전하거나 오류가 섞인 대규모 이미지 데이터셋에서도 효과적으로 학습할 수 있도록, 소프트맥스 뒤에 확률 전이 행렬 형태의 “노이즈 레이어”를 추가하는 방법을 제안한다. 이 레이어는 학습 과정에서 자동으로 추정되며, 라벨 플립과 아웃라이어 두 종류의 노이즈를 모두 보정한다. 실험 결과, ImageNet을 포함한 여러 벤치마크에서 기존 ConvNet 대비 높은 정확도를 유지함을 보였다.

상세 분석

이 논문은 라벨 노이즈가 존재하는 상황에서 딥러닝 모델, 특히 ConvNet의 학습 안정성을 향상시키기 위한 구조적 접근을 제시한다. 핵심 아이디어는 기존 소프트맥스 출력에 선형 변환 행렬 Q를 삽입하여, 모델이 예측한 “진짜” 라벨 확률 분포 ˆp(y*|x) 를 노이즈가 섞인 관측 라벨 ˜y 의 분포와 일치시키는 것이다. Q는 K×K 확률 전이 행렬로, 각 원소 q_{ji}=P(˜y=j|y*=i)를 나타내며, 학습 과정에서 파라미터로 함께 최적화된다.

수식 (1)‑(3)에서 보듯, 최적화 목표는 노이즈 라벨에 대한 교차 엔트로피 손실 L(θ,Q)=−∑_n log∑i q{˜y_n i}·ˆp(y*=i|x_n,θ) 를 최소화하는 것이다. 여기서 θ는 기본 ConvNet의 가중치이며, Q는 별도의 선형 레이어로 구현된다. 중요한 점은 Q가 확률 행렬 제약을 만족하도록 정규화와 투사(projection) 과정을 거친다는 점이다.

논문은 Q가 실제 노이즈 전이 행렬 Q와 동일할 경우, 기본 모델의 혼동 행렬 C가 단위 행렬 I_K 로 수렴함을 증명한다. 즉, Q를 정확히 학습하면 기본 모델은 깨끗한 라벨을 정확히 예측하게 된다. 그러나 Q*는 사전에 알 수 없으므로, 저자는 Q에 대한 확산성을 강제하는 정규화(트레이스 최소화 혹은 L2 가중치 감쇠)를 도입한다. 이 정규화는 Q가 지나치게 정체(identity) 상태에 머무르는 것을 방지하고, 노이즈를 모델 자체가 아닌 별도 레이어가 흡수하도록 유도한다.

학습 초기에는 Q를 I_K 로 고정하고 기본 모델만 학습한다. 이후 일정 에폭이 지난 뒤 Q를 업데이트하기 시작하며, 이때 가중치 감쇠 파라미터를 통해 Q가 점진적으로 확산된다. 실험에서는 Q에 대한 가중치 감쇠를 0.001 정도로 설정했으며, 과도한 감쇠는 실제 노이즈보다 더 퍼진 Q를 만들어 성능 저하를 초래한다는 점을 언급한다.

또한, 아웃라이어 노이즈(클래스에 속하지 않는 이미지가 잘못 라벨링된 경우)를 다루기 위해 K+1 번째 “아웃라이어” 클래스를 추가하고, 해당 클래스에 대한 전이 행렬을 특별히 설계한다. 이때 Q*는 특수한 구조를 가지며, 행렬이 특이(singular)해지는 문제를 해결하기 위해 작은 확률 ε을 추가해 정규화한다.

실험 섹션에서는 CIFAR‑10, CIFAR‑100, 그리고 대규모 ImageNet 데이터셋에 대해 라벨 플립 비율을 0%부터 80%까지 변화시키며 성능을 평가한다. 결과는 기존 ConvNet이 라벨 플립에 어느 정도 강인성을 보이지만, 40% 이상에서는 급격히 정확도가 떨어지는 반면, 제안된 노이즈 레이어를 포함한 모델은 높은 노이즈 수준에서도 5~10% 정도의 정확도 차이만을 보인다. 특히 ImageNet 실험에서는 Top‑1 정확도가 70% 수준에서 60% 수준까지 감소하는 상황에서도, 노이즈 레이어를 적용한 모델은 약 3% 포인트의 개선을 달성한다.

이 논문의 주요 기여는 (1) 라벨 노이즈를 명시적으로 모델링하는 간단하면서도 효과적인 구조 제안, (2) Q를 학습 과정에서 자동 추정하도록 하는 방법론, (3) 라벨 플립과 아웃라이어 두 종류의 노이즈 모두에 대한 실험적 검증이다. 또한, 기존의 사전 라벨 정제(pre‑processing) 방식과 달리, 학습 중에 노이즈를 보정함으로써 데이터 전처리 비용을 크게 절감한다는 실용적 장점도 강조한다.