퍼뮤테이션 동등성 네트워크의 표현력 통합 이론

초록

본 논문은 MLP 가중치 공간에서 작동하는 퍼뮤테이션‑동등성(weight‑space) 네트워크들의 표현력을 체계적으로 분석한다. 주요 기여는 (1) 기존의 주요 퍼뮤테이션‑동등성 모델(DWS, GMN, NFN, NG‑GNN 등)이 모두 동일한 표현력을 갖는다는 정리, (2) 일반 위치(general‑position) 가정 하에 함수‑공간 및 가중치‑공간 모두에서 보편적 근사 가능성을 보이는 보편성 정리, (3) 보편성이 깨지는 경계 상황을 정확히 규정한 것이다. 이를 통해 가중치‑공간 학습에서 설계 선택이 표현력에 미치는 영향을 이론적으로 명확히 했다.

상세 분석

논문은 먼저 MLP의 가중치 공간 V_A에 존재하는 대칭군 G_A(각 은닉층의 뉴런 순열의 직곱)를 정의하고, 퍼뮤테이션‑동등성 네트워크가 이 군에 대해 불변(invariant) 혹은 동등(equivariant)하도록 설계된다는 점을 강조한다. 기존 연구들(DWS, GMN, NFN, NG‑GNN, NFT 등)은 구조는 다르지만 모두 G_A‑불변/동등성을 만족하도록 설계되었으며, 저자는 이를 정량적으로 비교하기 위해 N_π^inv(K)와 N_π^equi(K)라는 두 함수 집합을 도입한다. 여기서 K는 입력 가중치의 컴팩트 집합이며, π는 특정 네트워크 클래스이다.

표현력 동등성
Theorem 5.2는 NFT을 제외한 모든 네트워크 클래스가 동일한 N_π^inv(K)와 N_π^equi(K)를 생성한다는 것을 증명한다. 증명은 한 클래스의 기본 레이어를 다른 클래스의 레이어로 근사함으로써 상호 변환 가능함을 보이는 constructive 방식이다. NFT은 주의(attention) 메커니즘이 다르기 때문에 일반적인 경우에는 표현력 차이가 있을 수 있지만, Proposition 5.3은 입력 가중치가 일반 위치(general‑position) 조건을 만족하면(N ∉ E_A) NFT도 동일한 표현력을 갖는다고 보여준다. 즉, 실제 학습 과정에서 거의 모든 초기화와 훈련된 가중치는 이 조건을 만족하므로, 실무에서는 모든 퍼뮤테이션‑동등성 모델을 동등하게 취급해도 된다.

네 가지 근사 설정
논문은 가중치‑공간 학습에서 나타날 수 있는 네 가지 근사 목표를 정의한다.

1. 함수‑공간 함수형(Function‑space functionals): 입력 가중치가 구현하는 함수 f_v에만 의존하는 실수 벡터 출력. 예: 모델 정확도 예측.
2. 퍼뮤테이션‑불변 함수형(Permutation‑invariant functionals): 가중치 자체에 의존하지만 은닉층 순열에 대해 불변. 예: L2‑norm 예측, 손실 곡률 추정.
3. 함수‑공간 연산자(Function‑space operators): 입력 함수를 다른 함수로 매핑하는 연산자. 예: 이미지/3D 씬 편집, 도메인 적응.
4. 퍼뮤테이션‑동등 연산자(Permutation‑equivariant operators): 가중치를 다른 가중치로 변환하면서 G_A‑동등성을 유지. 예: 프루닝 마스크 예측, 메타‑최적화용 그래디언트 예측.

각 설정에 대해 보편성(Universality)을 조사한다. 핵심 결과는 다음과 같다.

• 함수‑공간 함수형에서는 일반 위치 가정 없이도 모든 퍼뮤테이션‑동등성 네트워크가 연속 함수들을 임의의 정밀도로 근사할 수 있다. 이는 가중치 → 함수 매핑 R이 연속이고, 네트워크가 함수값에만 의존하도록 설계될 수 있기 때문이다.
• 퍼뮤테이션‑불변 함수형과 퍼뮤테이션‑동등 연산자는 전체 가중치 공간에서는 보편성이 깨질 수 있다(예: 편향이 동일한 뉴런이 존재하는 경우). 그러나 일반 위치 가정(E_A를 제외한 집합) 하에서는 보편성이 회복된다. 이는 편향이 서로 다르면 뉴런을 고유하게 식별할 수 있어, 네트워크가 입력 파라미터를 정규화하고 “canonical form”으로 변환할 수 있기 때문이다.
• 함수‑공간 연산자는 입력 가중치가 고정된 아키텍처(예: 특정 폭과 깊이)만을 허용하면 보편성이 성립하지 않는다. 이는 제한된 파라미터 공간이 구현 가능한 함수 집합을 제한하기 때문이다. 하지만 아키텍처를 충분히 크게(폭·깊이 모두 확장) 하면, 가중치‑공간 네트워크가 임의의 연속 연산자를 근사할 수 있다. 이는 기존의 “폭‑무한” 보편성 결과와 일맥상통하지만, 여기서는 가중치‑공간에서의 연산자 근사를 명시적으로 다룬다.

기술적 도구

• Exclusion set E_A와 General Position (GP) 개념을 도입해, 편향이 중복되는 경우를 제외한 거의 전부의 입력에 대해 보편성을 증명한다.
• Canonization map을 이용해, GP 입력에 대해 뉴런을 고유하게 정렬하고, 이를 기반으로 모든 퍼뮤테이션‑동등성 네트워크가 동일한 “표준 형태”를 학습하도록 한다.
• Feed‑forward simulation 결과를 확장해, DWS와 GMN이 단순히 순전파를 시뮬레이션하는 수준을 넘어, 함수‑공간 연산자까지 근사 가능함을 보인다.

실용적 의미
이론적으로 모든 주요 퍼뮤테이션‑동등성 모델이 동일한 표현력을 갖는다는 사실은, 연구자와 엔지니어가 모델 선택 시 아키텍처 복잡도, 학습 효율성, 구현 편의성 등 실용적 요소에 집중할 수 있음을 의미한다. 또한, 일반 위치 가정이 실제 학습 과정에서 거의 항상 만족된다는 점을 감안하면, NFT와 같은 최신 트랜스포머 기반 모델도 기존 GNN‑계열 모델과 동등하게 사용해도 된다. 마지막으로, 보편성이 깨지는 경계(편향 중복, 고정 아키텍처)에서는 추가적인 정규화 혹은 아키텍처 확장이 필요함을 제시한다.