스펙트럼 지향 신경 불변 합성곱

초록

**
SONIC은 연속적인 스펙트럼 파라미터화를 통해 전역 수용 영역을 갖는 합성곱 연산자를 구현한다. 방향성을 갖는 몇 개의 공유 모드로 주파수 응답을 모델링함으로써 해상도에 무관하게 작동하고, 기존 CNN·ViT·기존 스펙트럼 방법보다 훨씬 적은 파라미터로 강인한 이미지 분류와 3D 의료 영상 처리 성능을 달성한다.

**

상세 분석

**
본 논문은 전통적인 CNN이 고정 크기 커널에 의존해 지역적 특징만을 포착하고, 깊은 네트워크 없이 장거리 의존성을 학습하기 어렵다는 한계를 지적한다. 반면 Vision Transformer는 전역 연결성을 제공하지만, 계산량이 패치 수의 제곱에 비례하고 위치 인코딩에 의존한다는 문제점이 있다. 이러한 문제를 해결하기 위해 저자들은 연속적인 주파수 영역에서 연산자를 정의하는 스펙트럼 프레임워크를 제안한다. 핵심 아이디어는 방향성 모드(orientation‑aware modes) 를 도입해 주파수 응답을 저차원 파라미터(방향벡터 vₘ, 스케일 sₘ, 감쇠 aₘ, 진동 τₘ 등)로 표현하고, 이를 저‑랭크 행렬 B, C 와 결합해 다채널 필터를 구성한다. 수식 (12)‑(14)는 각 모드가 Laplace 변환의 resolvent 형태를 차용해 (T_m(\omega)=\frac{1}{i s_m (\omega\cdot v_m)-a_m+\tau_m| (I-v_m v_m^\top)\omega|^2}) 로 정의되는 과정을 보여준다. 이 구조는

1. 전역 수용 영역: 주파수마다 곱셈 연산만 수행하므로 이론적으로 무한히 넓은 공간적 영향을 제공한다.
2. 해상도 불변성: 연속 함수 (b_H(\omega)) 를 샘플링하는 방식이므로 입력 해상도가 바뀌어도 동일한 스펙트럼 함수를 재사용한다.
3. 파라미터 효율성: 모드 수 M과 채널 매핑 행렬 B, C만 학습하면 되므로 전체 파라미터 수가 기존 GFNet·FNO 대비 10배 이상 감소한다.
4. 방향성 표현력: 축에 정렬된 기존 구조(SNO, S4ND 등)와 달리 임의의 방향 vₘ 를 학습함으로써 이미지의 에지, 텍스처 등 비축 방향 패턴을 자연스럽게 포착한다.

실험에서는 (i) 합성 데이터에서 회전·스케일·노이즈에 대한 강인성을, (ii) ImageNet‑1k에서 기존 ConvNeXt·ViT 대비 동등하거나 우수한 Top‑1 정확도를, (iii) 3D 의료 CT/ MRI 데이터에서 해상도 변동에 대한 적응성을 검증한다. 특히 파라미터 0.9 M 이하의 소형 SONIC 모델이 80 M 파라미터를 갖는 ConvNeXt‑T와 비슷한 성능을 보이며, 해상도 2배 확대 시에도 성능 저하가 거의 없었다.

한계점으로는 (a) 현재 구현이 FFT 기반이므로 메모리 사용량이 여전히 이미지 크기에 비례하고, (b) 모드 수 M 선택이 경험적이며 자동화된 방법이 제시되지 않았으며, (c) 비선형성 도입이 제한적이라 복잡한 비선형 변환에 대한 표현력이 아직 검증되지 않았다. 향후 연구에서는 하드웨어 친화적인 근사 FFT, 적응형 모드 수 제어, 그리고 비선형 스펙트럼 블록을 결합한 하이브리드 아키텍처가 기대된다.

**