제약 없는 단조 신경망

1. 서론 단조 신경망은 변수와 응답 사이의 단조 관계를 모델링하거나, 역변환 가능한 변환을 만들기 위해 사용된다. 기존 방법은 가중치와 활성화 함수를 양수 혹은 단조 형태로 제한해 단조성을 보장했지만, 이러한 제약은 표현력에 한계를 만든다. 특히 자동회귀 흐름(Normalizing Flow)에서는 복잡한 변환을 만들기 위해 여러 층을 쌓아야 하는 단점이 있다. 2. UMNN 설계 원리 함수 F(x) 가 단조이기 위한 충분조건은 미분값 f(x)=∂F/∂x 가 양수인 것이다. 논문은 이를 이용해 자유 형태 신경망 f(x;ψ) 을 설계하고, 출력에 ELU + 1을 적용해 항상 양수를 보장한다. 그런 다음 F(x;ψ)=∫₀ˣ f(t;ψ)dt + β 로 정의한다. 여기서 β 는 스칼라 편향이다. 3. 전방 및 역방향 계산 전방 계산은 적분을 수치적으로 수행한다. Clenshaw‑Curtis 사다리꼴 규칙은 주기 함수에 대한 지수 수렴성을 일반 Lipschitz 연속 함수에도 확장시켜, 적은 평가점으로 높은 정확도를 제공한다. 역방향에서는 Leibniz 적분 법칙을 이용해 ∇ψ F를 적분 형태로 변환한다. 즉, ∇ψ F=∫₀ˣ ∇ψ f(t;ψ)dt + ∇ψ β 이며, 이는 적분 단계 수와 무관하게 메모리를 일정하게 유지한다. 입력에 대한 미분은 ∂F/∂x=f(x;ψ) 이므로 Jacobian의 대각 원소를 바로 얻을 수 있다. 4. UMNN‑MAF 자동회귀 흐름 다변량 변환 g(x) 를 구성하기 위해 각 차원 i 에 대해 g_i(x₁: i)=F_i(x_i, h_i(x₁: i‑1)) 를 정의한다. h_i 는 마스크드 오토레그레시브 네트워크(MADE)로 구현된 조건부 임베딩이며, β_i 는 임베딩 출력 중 하나를 사용한다. 전체 변환 g 는 하위 삼각 Jacobian을 갖고, det J g=∏_i f_i(x_i, h_i) 로 O(d) 시간에 계산된다. 역변환은 각 g_i 가 단조이므로 이분법 등 루트 찾기 방법으로 빠르게 수행된다. 5. 보편성 증명 연속적으로 미분 가능한 단조 함수 f 는 양수 미분값 g=∂f/∂x 를 갖는다. 신경망은 임의의 연속 양수 함수를 근사할 수 있으므로, 적분을 통해 임의의 C¹ 단조 함수를 근사한다. 따라서 UMNN‑MAF는 연속 확률분포의 누적분포함수(CDF)를 근사할 수 있어, 모든 연속 확률변수를 universal하게 모델링한다. 6. 관련 연구와 차별점 NAF와 B‑NAF는 하이퍼네트워크와 마스크를 이용해 가중치를 양수로 제한한다. UMNN은 가중치 제약이 없고, 자유 형태 네트워크를 그대로 사용한다. 이로 인해 최신 네트워크 구조와 결합이 쉬우며, 초기화와 학습이 간단하고 Jacobian 계산이 정확하고 가볍다. 또한, NODE와 FFJORD와는 달리 ODE 솔버를 통한 Jacobian 근사가 아니라 정확한 적분과 미분으로 Jacobian를 얻는다. 7. 실험 - 2‑D toy 데이터: 다중 모드와 불연속성을 정확히 복원하고, 역변환 샘플도 잘 생성한다. - 고차원 베이지안 네트워크, POWER, GAS 등 실세계 데이터셋: 로그우도 측면에서 기존 흐름(NAF, RealNVP, Glow 등)보다 우수하거나 동등한 성능을 보인다. - VAE 변분 추론: UMNN‑MAF를 posterior 흐름으로 사용해 ELBO를 향상시켰으며, 샘플 품질도 개선되었다. 8. 결론 UMNN은 미분값을 양수로 강제하는 간단한 아이디어를 기반으로, 제약 없는 자유 형태 신경망으로 단조 변환을 구현한다. 이를 자동회귀 흐름에 적용한 UMNN‑MAF는 메모리 효율적인 학습, 정확한 Jacobian, 그리고 높은 표현력을 제공한다. 앞으로 UMNN을 coupling layer에 적용하거나, 더 복잡한 ODE 기반 흐름과 결합하는 등 다양한 확장이 기대된다.