데이터 중복이 이미지 분류 딥러닝 모델에 미치는 영향

초록

본 논문은 이미지 분류에 사용되는 딥 뉴럴 네트워크에서 훈련 데이터의 중복이 모델 학습 효율, 일반화 정확도 및 적대적 견고성에 미치는 영향을 체계적으로 조사한다. 균등·비균등 중복 시나리오와 표준 학습 모델·적대적 학습 모델을 각각 실험·이론적으로 분석한 결과, 중복이 학습 속도를 저하시키고, 특히 비균등 중복이나 적대적 학습 환경에서는 정확도가 현저히 감소함을 확인하였다.

상세 분석

논문은 먼저 데이터 중복이 일반화 오류에 미치는 이론적 메커니즘을 편향‑분산 프레임워크를 통해 설명한다. 일반적인 경우 데이터 샘플이 증가하면 분산이 감소하고 편향이 약간 증가한다는 전제가 있지만, 중복된 샘플은 실제 정보량을 늘리지 않으면서 특정 클래스에 대한 샘플 수만 인위적으로 확대한다. 저자는 이를 “편향‑분산 불균형”이라고 정의하고, Proposition 1에서 비균등 중복이 발생하면 복제된 클래스의 편향이 크게 증가하고, 복제되지 않은 클래스의 분산이 오히려 상승한다는 수식을 제시한다. 이는 결정 경계가 복제된 클래스 쪽으로 치우쳐, 전체 데이터 분포를 올바르게 반영하지 못하게 만든다.

다음으로 적대적 학습 상황을 고려한 이론적 확장을 제시한다. 적대적 교란 β(x)와 노이즈 γ가 존재할 때의 MSE 손실을 Theorem 2로 전개하고, 기존 편향‑분산 항 외에 교란‑편향 상호작용 항 cₓ와 교란‑분산 상호작용 항 c′ₓ를 도입한다. Proposition 2에서는 중복 데이터가 이러한 추가 항을 증폭시켜, 적대적 교란에 대한 민감도가 급격히 상승함을 보인다. 즉, 중복은 모델이 적대적 예시를 학습하는 과정에서 과도한 메모리 효과를 일으켜, 실제 테스트 시 견고성이 크게 저하된다.

실험 부분에서는 두 가지 축을 사용한다. 첫 번째는 2차원 가우시안 분포에서 생성한 합성 데이터에 대해 SVM‑RBF를 적용, 균등·비균등 중복 비율(D‑rate)과 복제 클래스 비율(D‑ratio +1)을 변화시키며 결정 경계와 일반화 정확도를 시각화한다. 결과는 비균등 중복이 결정 경계를 크게 왜곡하고, D‑ratio +1이 0.5를 초과하면 정확도가 급격히 떨어지는 것을 보여준다. 두 번째는 CIFAR‑10 데이터셋을 이용해 ResNet‑18 기반 표준 모델과 PGD‑Adversarial Training을 적용한 견고 모델을 각각 학습시킨다. 균등 중복(10 %~90 %)을 적용했을 때 표준 모델은 정확도 변화가 미미하지만, 비균등 중복에서는 5 %10 % 수준에서도 23 %p 정도 정확도 손실이 발생한다. 적대적 학습 모델에서는 동일한 중복 비율에서도 4 %~6 %p 정도 정확도 감소가 관찰되며, 특히 복제된 클래스가 공격 목표 클래스와 겹칠 경우 손실이 더욱 커진다.

또한 학습 시간 측면에서도 중복 데이터는 동일한 에폭당 연산량을 증가시켜 전체 학습 시간을 1.2~1.8배 정도 늘린다. 저자는 중복 제거가 모델 효율성을 크게 향상시키며, 특히 대규모 데이터셋에서 메모리와 연산 비용 절감 효과가 두드러진다고 강조한다.

전체적으로 이 논문은 이미지 분류에서 데이터 중복이 단순히 “데이터 양을 늘리는” 효과가 아니라, 편향‑분산 균형을 깨뜨리고, 적대적 상황에서는 견고성을 크게 약화시키는 위험 요소임을 입증한다. 따라서 실무에서는 데이터 수집·전처리 단계에서 중복 탐지·제거 파이프라인을 필수적으로 구축하고, 특히 클래스 불균형이 존재하거나 적대적 방어를 적용하는 경우에는 더욱 엄격한 deduplication 정책이 필요함을 시사한다.