곱 상호작용으로 보는 딥러닝 구조 통합론

초록

본 논문은 곱 연산자를 기반으로 한 ‘product interaction’이라는 대수적 형식화를 제안한다. 데이터와 필터를 적절한 대수의 원소로 임베딩하고, 하나의 곱 연산자를 조합함으로써 선형·이차·고차 상호작용을 체계적으로 생성한다. 컨볼루션·대칭 네트워크는 1차(선형) 상호작용, Mamba는 2차(이차) 상호작용, 어텐션과 SE(3)‑attention은 3차(삼차) 상호작용으로 해석된다. 또한 대수 구조와 대칭 원칙을 통해 equivariance를 자연스럽게 구현하고, 실험을 통해 상호작용 차수와 대칭 제약이 성능에 미치는 영향을 확인한다.

상세 분석

논문은 먼저 대수(algebra)를 정의하고, 데이터와 위치 정보를 각각 특성 대수 A와 보조 대수 B에 텐서곱 형태로 임베딩한다. 이때 곱 연산은 A와 B 각각의 구조 상수에 의해 완전히 결정되며, 학습 가능한 파라미터 혹은 고정된 대칭 제약으로 설정될 수 있다. 핵심은 ‘Multiplication operator O_K’를 도입해 필터 K와 입력 X를 순차적으로 구조 연산 L₁·(K·L₂(X)) 형태로 처리한다. 이를 여러 번 합성(composition)하면 다양한 차수의 self‑interaction을 가진 product interaction O_prod이 생성된다.
Self‑interaction order는 입력 X가 식에 몇 차례 곱해지는지를 나타내는 다항식 차수이며, 1차는 전통적인 컨볼루션·SSM과 동일하고, 2차는 Mamba와 같은 입력‑의존 게이팅, 3차는 어텐션 메커니즘과 SE(3)‑attention에서 관찰된다. 논문은 특히 (2)와 (3)식의 차이를 강조하며, 전자는 필터를 동적으로 생성하고 후자는 필터 자체를 또 다른 곱 연산의 입력으로 활용한다는 점에서 구조적 차이를 만든다.
대칭 원칙(Definition 3.9)은 T_g 변환과 O가 교환(commute)하도록 구조 상수를 제한한다. 이를 통해 번역 대칭은 CNN, SO(2) 대칭은 Harmonic Network, SO(3) 대칭은 Tensor Field Network, SE(3) 대칭은 SE(3)‑attention으로 각각 특수화된다. 즉, 대수와 대칭을 동시에 만족하는 필터 K를 선택하면 기존의 equivariant 설계가 곱 상호작용의 특수 사례가 된다.
실험 섹션에서는 동일한 데이터셋에 대해 self‑interaction order를 1→2→3으로 증가시킨 모델들을 비교한다. 결과는 차수가 높을수록 표현력이 향상되지만, 대칭 제약을 적절히 적용하지 않으면 과적합 위험이 커진다는 점을 보여준다. 또한 구조 연산 L₁, L₂를 통해 위치 마스킹, 인접 이웃 제한, 인과성 제어 등을 손쉽게 구현할 수 있음을 시연한다.
전체적으로 논문은 “하나의 곱 연산자”라는 단일 수학적 도구로 현재 널리 쓰이는 다양한 딥러닝 아키텍처를 일관되게 설명하고, 차수와 대칭을 조절함으로써 새로운 설계 공간을 체계적으로 탐색할 수 있는 프레임워크를 제공한다는 점에서 의미가 크다.