대립적 라더 네트워크: 반지도학습과 적대적 노이즈의 융합

본 논문은 라더 네트워크(Ladder Network)에 적대적(Adversarial) 노이즈를 결합하여 반지도학습(semi‑supervised learning) 성능을 향상시키는 새로운 접근법을 제시한다. 라더 네트워크는 인코더‑디코더 구조에 lateral 연결을 두어 각 층의 잠재 표현을 동시에 복원하도록 설계된 모델로, 무표시 데이터와 표시 데이터를 동시에 학습함으로써 기존의 사전‑학습‑후‑미세조정(pre‑training + fine‑tuning) 방식보다 더 효율적인 학습을 가능하게 한다. 손실은 지도 손실 (C_s, 교차 엔트로피)와 비지도 손실 (C_u, 각 층별 재구성 오차)의 가중합으로 구성된다. 저자들은 라더 네트워크가 적대적 예제에 취약하다는 점을 먼저 확인한다. MNIST 테스트 셋에 Fast Gradient Sign Method(FGSM) 기반의 적대적 교란을 적용했을 때, 라더 네트워크는 6.87%의 오류율을 보였으며, 동일한 파워의 무작위 가우시안 노이즈에서는 0.61%에 불과했다. 이는 라더 네트워크가 비지도 복원 목표에 집중하면서도 입력 공간의 작은 방향성 교란에 민감함을 의미한다. 이를 개선하기 위해 두 가지 적대적 노이즈 방식을 도입한다. 첫 번째는 기존 FGSM과 유사하게 지도 손실 ∂C_s/∂x의 부호에 비례한 교란 τ·sign(∂C_s/∂x)를 입력에 더하는 방법이다. 두 번째는 그래디언트를 정규화해 ‖∂C_s/∂x‖₂=1 이 되도록 만든 뒤, τ·(∂C_s/∂x) 형태로 교란을 만든 “정규화된 적대적 노이즈”이다. 정규화된 방식은 부호만 사용하는 FGSM보다 손실 증가 방향에 더 정확히 맞추어 교란을 생성한다는 장점이 있다. 또한, 무표시 데이터에 대한 “가상 적대적 노이즈”(Unsupervised Adversarial, UA)를 제안한다. 무표시 샘플에 대해 현재 모델의 소프트맥스 출력을 임시 라벨로 사용하고, 해당 라벨에 대한 지도 손실의 그래디언트를 계산해 교란을 만든다. 초기에는 라벨이 부정확해 교란이 거의 무작위에 가깝지만, 모델이 학습됨에 따라 교란이 실제 결정 경계 쪽으로 샘플을 밀어 넣어, 비지도 학습이 지도 학습과 동일한 방향으로 특징을 정제하도록 유도한다. 이는 Miyato et al.의 Virtual Adversarial Training과 유사하지만, 손실 함수를 직접 사용한다는 점에서 차별화된다. 다층 적대적 노이즈에 대한 탐구도 진행한다. 각 층 l 에 대해 입력 x_l 에 대한 손실 그래디언트를 별도로 계산하고 교란을 추가하면 계산 비용이 O(L²) 로 급증한다. 저자는 실제 구현에서는 첫 번째 순전파‑역전파 단계에서 전체 교란을 한 번에 계산하는 근사 방식을 사용했으며, 포화된 활성함수(sigmoid 등)에서는 근사 오차가 작을 것으로 가정한다. 실험은 MNIST 데이터셋을 사용했다. 기본 라더 네트워크는 0.51%의 테스트 오류를 기록했으며, 적대적 교란을 추가하면 오류가 크게 상승한다. 그러나 정규화된 적대적 노이즈와 UA 노이즈를 결합하면 오류가 다시 감소하여, 기존 라더 네트워크와 비슷하거나 약간 개선된 수준을 달성한다. 이는 적대적 교란이 단순히 방어 메커니즘을 제공하는 것이 아니라, 학습 과정에서 유용한 방향성 정보를 제공함을 시사한다. 결론적으로, 라더 네트워크는 비지도 복원 목표와 지도 목표 사이의 균형을 맞추지만, 적대적 교란에 대한 내성이 부족했다. 지도 손실 기반의 적대적 노이즈와 이를 무표시 데이터에 확장한 UA 노이즈를 도입함으로써 모델의 일반화와 견고성을 동시에 강화할 수 있다. 향후 연구 과제로는 더 복잡한 데이터셋(예: CIFAR‑10, SVHN)과 다양한 적대적 공격(예: PGD, CW)에서의 효과 검증, 다층 적대적 노이즈의 효율적 구현 방법, 그리고 라더 네트워크와 다른 반지도학습 프레임워크(예: Mean Teacher, MixMatch)와의 결합 가능성을 탐구하는 것이 제시된다.