기하학적 딥러닝을 위한 비선형 연산자 연구

초록

본 논문은 매니폴드 𝓜 위의 스칼라 및 벡터 필드에 대해, 전체 미분동형군 Diff(𝓜)와 교환(commute)하는 비선형 연산자를 완전히 규정한다. 스칼라 경우에는 점별 비선형 함수만이 가능하고, 벡터 경우에는 스칼라 곱만이 유일한 비선형 연산자임을 증명한다. 이는 Diff(𝓜)와 호환되는 신경망 설계에서 점별 활성화 함수가 유일한 보편적 선택임을 이론적으로 뒷받침한다.

상세 분석

논문은 먼저 Lᵖ_ω(𝓜,ℝ) 와 Lᵖ_ω(𝓜,T𝓜) 이라는 두 함수 공간을 정의하고, 각각 스칼라 필드와 벡터 필드를 나타낸다. 여기서 Diff(𝓜) 는 매니폴드 𝓜 위의 모든 C^∞ 미분동형을 포함하는 군이며, 각 φ∈Diff(𝓜) 에 대해 자연스러운 작용 L_φ 을 정의한다. 스칼라 필드에 대해서는 (L_φ f)(x)=f(φ(x)) 이며, 벡터 필드에 대해서는 (L_φ f)(x)=dφ⁻¹_{φ(x)} f(φ(x)) 라는 반변환을 사용한다.

주요 결과는 두 정리로 요약된다. 정리 1은 Lᵖ_ω(𝓜,ℝ) 위의 Lipschitz 연속 연산자 𝓜 가 모든 φ에 대해 𝓜 ∘ L_φ = L_φ ∘ 𝓜 을 만족한다면, 𝓜는 단순히 어떤 실함수 ρ:ℝ→ℝ 에 의해 정의된 점별 비선형성, 즉 𝓜