조건부 정규화 흐름의 구성적 구현과 스위치 최소화

초록

본 논문은 확률밀도 μ와 미분동형 ϕ를 주어진 경우, 퍼셉트론 형태의 조각상수 가중치를 갖는 연속 정규화 흐름(Neural ODE)으로 ϕ와 그 푸시포워드 ϕ#μ를 동시에 근사하는 명시적 구성법을 제시한다. 압축 가능한 부분은 볼록 함수의 그래디언트로 정확히 구현하고, 비압축 부분은 작은 입방체 교환을 통한 전단 흐름으로 근사한다. 일반적인 ϕ에 대해서는 스위치 수가 O(ε⁻ᵈ) 정도이며, Knöthe‑Rosenblatt 같은 부드러운 변환에 대해서는 마우리의 경험법을 이용해 O(ε⁻²) 스위치로 개선한다.

상세 분석

논문은 두 단계의 핵심 아이디어를 결합한다. 첫 번째는 ϕ를 라그랑주 보간으로 근사한 뒤, 이를 ‘극좌표‑유사’ 분해(polar‑like factorization)하여 압축성(compresible) 성분과 비압축성(incompressible) 성분으로 나눈다. 압축성 성분은 gₑ = ∇φ 와 같이 하나의 좌표에만 작용하는 볼록 함수의 그래디언트로 표현되며, 조각상수 퍼셉트론 파라미터를 이용해 연속 방정식(1.3)의 흐름으로 정확히 구현할 수 있다. 비압축성 성분은 측정 보존(map‑preserving) 변환 m₁ₑ, m₂ₑ 으로 구성되며, 이를 작은 정육면체들의 순열(permutation)으로 근사한다. 순열은 Brenier‑Gangbo의 ‘스와프 흐름’ 아이디어를 차용해 유한 개의 전단 흐름(shear flow)으로 구현한다. 이 과정은 Lemma 2.6, 2.8, 2.9에 상세히 기술되어 있어, 각 단계가 명시적인 알고리즘으로 변환 가능함을 보여준다.

두 번째 결과는 ϕ가 Sobolev Hˢ (s > d/2 + 2) 정규성을 가질 때, ϕ를 시간‑1 흐름 ϕ₁ᵘ 으로 표현하고, u(t,·)가 Barron 클래스에 속한다는 사실을 이용한다. Maurey의 경험법을 시간 구간에 샘플링해 하나의 뉴런을 고정함으로써, 스위치 수 N 을 제어한다. 이때 평균 제곱 오차는 N⁻¹ᐟ² 수렴을 보이며, 최종적으로 ‖ϕ − ϕ₁θ‖_{L²} ≤ ε 와 TV 오차 ≤ ε 을 만족하는 θ를 얻는다. 중요한 점은 스위치 수가 O(ε⁻²) 로, 일반적인 O(ε⁻ᵈ) 보다 차원에 독립적인 스케일을 제공한다는 것이다.

논문은 또한 Lᵖ‑근사와 총변동(TV) 거리 사이의 미묘한 관계를 논의한다. 압축성 성분이 없는 측정 보존 변환에서는 작은 Lᵖ‑오차가 TV 오차를 직접 제어하지만, 일반적인 변환에서는 Jacobian det ∇η 의 편차가 TV 오차를 지배한다. 이를 통해 압축성 부분이 TV 오차의 주요 원인임을 명확히 하고, 기존 연구가 이 점을 간과했음을 지적한다. 마지막으로 스위치 수와 Cayley 그래프의 지름 사이의 연결을 통해 최악의 경우 Θ(n log n) 또는 Θ(n) 스위치가 필요함을 설명하고, 이는 현재 구성법의 근본적인 한계임을 제시한다.