다항식과 단조함수의 합성 모델 불변성군 연구

초록

다변량 다항식과 지수형 단조함수를 층별로 교차 구성한 함수 클래스에서, 입력·출력 순열과 양의 대각 스케일링, 그리고 입력 선형 변환이 매개변수 불변성을 형성함을 밝히고, 이를 이용한 정규화 최소화와 파라미터 난독화 방법을 제시한다.

상세 분석

본 논문은 다변량 다항식 Pℓ와 요소별 정규화된 단조함수 Mℓ( z )i=(zi)αℓ+ 로 구성된 L계층 합성 모델 fθ=P L∘M L‑1∘…∘M1∘P1 에 대해 매개변수 불변성(θ∼θ′ ⇔ fθ≡fθ′)을 체계적으로 분석한다. 핵심은 각 Mℓ이 순열 행렬 P∈S dℓ와 양의 대각 행렬 D∈ℝ dℓ>0 에 대해 σ αℓ(PDx)=PDαℓσ αℓ(x) 를 만족한다는 사실이다. 여기서 Dαℓ는 각 대각 원소를 αℓ 제곱한 행렬이다. 따라서 Mℓ은 입력에 대한 P·D 변환과 출력에 대한 P·Dαℓ 변환 사이에서 동등(equivariant)하게 작동한다. 이 성질을 이용해 전체 모델에서는 다음 두 종류의 변환이 불변성을 만든다. 첫째, 입력 차원에서 임의의 가역 행렬 S0∈GL(d0)를 적용하고 P1을 S0⁻¹ 전합성함으로써 입력 좌표를 바꾸어도 전체 함수가 동일하게 유지된다. 둘째, 각 내부 인터페이스 ℓ=1,…,L‑1 에 대해 순열 Πℓ와 양의 대각 Dℓ를 선택하고, Pℓ을 Πℓ·D1/αℓℓ 로 후처리하고, Pℓ+1을 (Πℓ·Dℓ)⁻¹ 로 전합성함으로써 Mℓ의 동등성을 보존한다. 이 과정에서 각 출력 차원의 스케일링은 αℓ 제곱근으로 조정되며, 다항식 계수 w와 편향 b는 해당 스케일에 따라 선형 변환된다. 중요한 점은 다항식의 차수 r(ℓ)j,k 은 변환 과정에서 순서만 바뀔 뿐 값 자체는 변하지 않아, 차수 정보는 불변성을 유지한다는 것이다. 논문은 이러한 변환을 ‘ordered‑parameter view’ 로 정리하여, 각 층의 파라미터 리스트 ϕ(ℓ) 를 순열·스케일링 후 재배열하고, 다음 층의 입력에 동일한 선형 변환을 적용하는 구체적 알고리즘을 제시한다. 이를 통해 파라미터 공간의 등가 클래스가 크게 확대됨을 보이며, 동일 함수에 대해 무수히 많은 파라미터 표현이 존재함을 증명한다. 이어서 저자는 정규화 비용(주로 Frobenius norm 혹은 L1 norm) 최소화를 위해 각 Dℓ을 변수로 하는 기하계획법(Geometric Programming) 형태의 최적화 문제를 구성한다. 정규화 항은 각 층의 가중치와 편향에 대한 제곱·절대값에 스케일링 지수 γ(ℓ)j,k=2αℓ r(ℓ)j,k 를 곱한 형태의 posynomial 으로 변환되며, 대각 원소들의 곱 제약이나 범위 제약을 추가해도 GP 구조가 유지된다. 특히 순열 Πℓ 은 최적화 대상이 아니며, 대칭적인 제약을 두면 최적값은 순열에 무관함을 보인다. 마지막으로, 파라미터 난독화와 프라이버시 보호를 위한 프로토콜을 제안한다. 클라이언트는 임의의 가역 행렬 R을 사용해 입력을 변형하고, 서버는 위에서 정의한 불변성 변환을 이용해 파라미터를 세션별로 재구성한다. 추가로 각 층에 ±1 부호 마스크 Sℓ 를 삽입해 세션마다 다른 파라미터 집합을 만들 수 있어, 파라미터 재사용을 방지한다. 전체적으로 논문은 함수 불변성의 대수적 구조를 명확히 밝히고, 이를 정규화 최적화와 보안 응용에 연결시킴으로써 모델 식별성, 차원 축소, 그리고 효율적인 학습에 새로운 통찰을 제공한다.