시각 발달을 모방한 블러 커리큘럼으로 강인한 이미지 표현 학습

초록

인간 영아는 초기 시각 선명도가 낮고 점차 개선된다는 사실에 착안해, 저자들은 학습 초기에 강하게 블러 처리된 이미지를 사용하고 점진적으로 블러 강도를 낮추는 “Visual Acuity Curriculum(VAC)”을 제안한다. 이 커리큘럼은 CNN이 전역 구조에 집중하도록 유도해 자연 및 적대적 교란에 대한 강인성을 크게 향상시키며, 기존의 정적 블러 증강보다 일관된 성능 개선을 보인다.

상세 분석

본 논문은 인간 시각 발달 과정, 특히 출생 직후 시각 선명도가 낮고 시간이 지남에 따라 점진적으로 향상되는 현상을 모델 학습에 적용한다는 점에서 독창적이다. 저자들은 Gaussian blur를 이용해 입력 이미지의 고주파 정보를 인위적으로 억제하고, 이를 학습 초기에만 적용함으로써 모델이 저주파, 전역 형태 정보를 우선 학습하도록 설계하였다. 커리큘럼은 K개의 구간으로 나뉘며 각 구간은 (epoch 수 n_k, blur 표준편차 σ_k) 로 정의된다. 초기 σ_max는 데이터 해상도에 비례해 설정하고, 매 구간마다 σ를 절반으로 감소시키면서 epoch 수는 기하급수적으로 늘린다. 이렇게 하면 초기 20 % 정도의 epoch만이 고강도 블러에 노출되고, 이후에는 점차 원본 해상도로 전환된다.

또한, 블러 강도를 낮추는 전환 단계에서 발생할 수 있는 “catastrophic forgetting”을 방지하기 위해 blur replay 메커니즘을 도입한다. 구간 k에서 학습할 때, 현재 σ_k 뿐 아니라 이전에 사용된 모든 σ_j (j ≤ k)를 확률 p_j = n_j / Σ_{i=1}^{k} n_i 로 샘플링해 이미지에 적용한다. 이 방식은 연속 학습에서 흔히 쓰이는 rehearsal 기법을 이미지 수준에 적용한 것으로, 초기 저주파 특성을 유지하면서 고주파 정보를 습득하도록 돕는다.

실험에서는 CIFAR‑10‑C, ImageNet‑100‑C 등 표준 이미지 손상 벤치마크에서 mCE를 각각 8.30 %와 4.43 % 감소시켰으며, 이는 기존의 static blur augmentation이나 다른 커리큘럼(CBS, FixRes)보다 우수한 결과다. 또한 CutMix, MixUp, ℓ₂‑adversarial training 등과 결합했을 때 추가적인 일반화 향상이 관찰되었다. 흥미롭게도, in‑domain 정확도는 거의 손실되지 않아 실용적인 트레이드오프를 제공한다.

비교 대상인 Achille et al.의 “critical learning period” 가설은 초기 블러가 영구적인 성능 저하를 초래한다는 주장인데, 본 연구는 초기 블러가 오히려 저주파 특성을 강화해 후속 학습에 긍정적인 영향을 미친다고 반박한다. 이는 인간 시각 발달에서 초기 저시력 자체가 구조적 이점으로 작용한다는 신경과학적 근거와도 일맥상통한다.

전반적으로 VAC는 (1) 학습 초기 입력 복잡도 감소, (2) 단계적 고주파 도입, (3) replay 기반 기억 유지라는 세 가지 핵심 요소를 결합해 CNN의 견고한 표현 학습을 촉진한다는 점에서 의미가 크다.