노이즈 어닐링으로 해결하는 반이중 신경 최적 수송의 스퓨리어스 매핑 문제

초록

본 논문은 데이터가 저차원 매니폴드에 집중될 때 반이중 신경 최적 수송(SNOT)에서 발생하는 비정상적인 매핑을 이론적으로 규명하고, 가우시안 노이즈를 통한 스무딩이 온-매니폴드(접선) 신호는 유지하면서 오프-매니폴드(법선) 자유도를 제거함을 증명한다. 또한, 통계적 최적 속도를 달성하는 계산 가능한 터미널 노이즈 수준 ε_stat(N)을 제시하고, ε가 이 수준 이하로 감소하면 최적화 조건수가 급격히 악화되어 학습 효율이 떨어짐을 보여준다.

상세 분석

논문은 먼저 반이중 최적 수송의 목표함수 L(V,T) 를 분석하여, 최적 포텐셜 V* 에 대해 복구 단계 T_V 가 만족해야 하는 조건이 μ‑a.e. x에 대해 c(x,T_V(x))−V(T_V(x))=V^c(x) 임을 정리(정리 3.1)한다. 이 조건은 데이터가 지지하는 매니폴드 M 위에서만 강제되므로, 매니폴드의 접선 방향 성분만 식별 가능하고 법선 방향은 자유롭게 변할 수 있다(정리 3.2). 즉, 동일한 목표값을 갖는 무수히 많은 매핑이 존재하며, 이는 실험에서 관찰된 “접선 오류는 작지만 법선 오류는 크게” 나타난 현상의 이론적 근거가 된다.

이를 해결하기 위해 저자들은 μ에 가우시안 노이즈 εY 를 추가해 전역적으로 절대 연속인 μ_ε를 만든다. 스무딩은 오프‑매니폴드 자유도를 제거하고, 정리 4.1 과 명제 4.3 을 통해 ε→0일 때 μ_ε가 원래 μ로 수렴하면서도 잠재적으로 식별 가능한 접선 성분을 보존함을 보인다. 특히, 잠재함수 V_0 가 μ‑a.e. 미분 가능하면 최적 Monge 매핑 T_0(x)=x−∇V_0^c(x) 가 회복되고, ε가 충분히 작을 때 학습된 매핑 T_ε 은 그래프 의미에서 T_0 에 수렴한다.

하지만 ε를 무한히 작게 만들면 목적함수의 Hessian이 발산해 조건수가 급격히 악화된다(정리 5.3, 보조정리 D.3). 이는 학습 단계에서 작은 학습률, 많은 반복, 하이퍼파라미터 민감도 증가로 이어진다. 따라서 저자들은 통계적 오류(편향 + 표본 오차)를 명시적으로 분해한 정리 5.1을 기반으로, 고정된 샘플 N 에 대해 최적의 통계적 수렴률을 달성하는 최대 노이즈 수준 ε_stat(N) 을 도출한다. 식 (3) 에 따르면

• m=1 일 때 ε_stat(N)∝N^{−1/2}
• m=2 일 때 ε_stat(N)∝(log N / N)^{1/2}
• m≥3 일 때 ε_stat(N)∝N^{−1/m}
  이며, 가우시안 노이즈를 사용할 경우 E|Y|≈√d 이므로 차원 d 에 대한 정규화가 필요함을 강조한다.

결과적으로, ε를 ε_stat(N) 보다 크게 잡으면 편향이 증가하지만 최적화는 안정적이며, ε를 이보다 작게 하면 통계적 이득이 없고 조건수 악화로 학습 효율이 떨어진다. 이는 실용적인 “노이즈 어닐링 중단 규칙”을 제공한다.