공간‑가변 스펙트럼을 학습하는 신경망, NSTR: “주파수 흐름”을 시각화하는 새로운 INR 패러다임

📝 Abstract

Implicit Neural Representations (INRs) have emerged as a powerful paradigm for representing signals such as images, audio, and 3D scenes. However, existing INR frameworks-including MLPs with Fourier features, SIREN, and multiresolution hash grids-implicitly assume a global and stationary spectral basis. This assumption is fundamentally misaligned with real-world signals whose frequency characteristics vary significantly across space, exhibiting local high-frequency textures, smooth regions, and frequency drift phenomena. We propose Neural Spectral Transport Representation (NSTR), the first INR framework that explicitly models a spatially varying local frequency field. NSTR introduces a learnable frequency transport equation, a PDE that governs how local spectral compositions evolve across space. Given a learnable local spectrum field S(x) and a frequency transport network F θ enforcing ∇S(x) ≈ F θ (x, S(x)), NSTR reconstructs signals by spatially modulating a compact set of global sinusoidal bases. This formulation enables strong local adaptivity and offers a new level of interpretability via visualizing frequency flows. Experiments on 2D image regression, audio reconstruction, and implicit 3D geometry show that NSTR achieves significantly better accuracy-parameter trade-offs than SIREN, Fourier-feature MLPs, and Instant-NGP. NSTR requires fewer global frequencies, converges faster, and naturally explains signal structure through spectral transport fields. We believe NSTR opens a new direction in INR research by introducing explicit modeling of space-varying spectrum.

💡 Analysis

**

1. 연구 배경 및 동기

• 전통 INR의 한계: 기존 대부분의 INR은 좌표 → 값 매핑을 기반으로 전역적인 고정 주파수 집합을 사용한다. 이는 스펙트럼 바이어스(신경망이 저주파를 선호)와 지역적 고주파·저주파 혼재 문제를 야기한다.
• 실제 신호의 비정상성: 이미지·텍스처, 3D SDF, NeRF, 오디오 등은 공간마다 서로 다른 주파수 특성을 보이며, 이러한 비정상성을 전역 기반으로는 효율적으로 표현하기 어렵다.

2. 핵심 아이디어 – NSTR

• 분리‑정복 전략: 전역적인 진동(ωi)와 지역적인 스펙트럼 변동(S(x))을 명확히 분리함으로써, 전역 기반이 과도하게 복잡해지는 것을 방지한다.
• PDE 기반 정규화: ∇S와 Fθ 사이의 잔차 손실(L_PDE)으로 스펙트럼 필드가 물리적·수학적 일관성을 유지하도록 유도한다. 이는 학습 안정성과 해석 가능성을 동시에 제공한다.

3. 기술적 구현

1. 스펙트럼 파라미터화

   • 저해상도 학습 가능한 그리드 z(x)와 경량 하이퍼네트워크 Hψ를 결합해 S(x)=Hψ(z(x), x) 로 구현.
   • 메모리 효율성: 전체 도메인에 대해 수천 개의 파라미터만 필요.

2. 주파수 전송 방정식

   • 자동 미분을 이용해 ∇S(x) 를 계산하고, Fθ는 좌표와 현재 스펙트럼을 입력받아 벡터장을 출력.
   • PDE 잔차 손실을 전체 재구성 손실(L_rec)와 가중합(L_total = L_rec + λ·L_PDE) 형태로 최적화.

3. 재구성 파이프라인

   • f(x) = gϕ( Σ_i S_i(x)·sin(ω_iᵀx + b_i) ) 로 최종 출력.
   • 전역 사인 기반은 고정 혹은 학습 가능하지만, 수가 적어 연산 비용이 낮다.

4. 실험 결과 요약

• 파라미터 효율성: 전역 주파수 수를 크게 줄였음에도 불구하고 재구성 품질이 향상.
• 수렴 속도: PDE 제약이 스펙트럼 초기화를 가이드해 최적화가 빠르게 진행.
• 해석 가능성: 학습된 Fθ 를 시각화하면 “주파수 흐름”이 텍스처 경계, 곡률, 음성 피치 변동 등과 일치함을 확인.

5. 강점

1. 공간‑가변 스펙트럼 명시화 – 기존 INR이 간과한 핵심 물리적 특성을 직접 모델링.
2. 파라미터·연산 효율 – 전역 사인 기반을 최소화하고, 저해상도 그리드와 작은 MLP만으로 고품질 재구성 가능.
3. 해석 가능성 – 주파수 전송 벡터장을 시각화함으로써 “왜 이 영역이 고주파인가?”를 직관적으로 설명.
4. 범용성 – 이미지·오디오·3D 모두에 적용 가능하며, 기존 파이프라인에 쉽게 통합될 수 있음.

6. 한계 및 개선점

7. 향후 연구 방향

1. 다중 스펙트럼 필드 – 복합적인 신호(예: 멀티모달 데이터)에서 서로 다른 스펙트럼 필드를 동시에 학습해 상호작용을 모델링.
2. 조건부 NSTR – 텍스처·재질·조명 등 외부 조건을 입력으로 받아 주파수 흐름을 동적으로 조절하는 조건부 모델 설계.
3. 물리‑기반 시뮬레이션 연계 – 파동·음향·전자기 시뮬레이션에서 실제 물리 PDE와 NSTR의 주파수 전송 방정식을 결합, 하이브리드 시뮬레이션 프레임워크 구축.
4. 압축 및 전송 – S(x) 와 Fθ 를 별도 스트림으로 압축해 전송하고, 수신 측에서 빠르게 재구성하는 신경 압축 코덱 개발.
5. 신경 해석학 – 주파수 흐름 벡터장을 이용해 신경망 내부의 “주파수 감도”를 정량화하고, 네트워크 설계 가이드라인을 도출.

8. 결론

NSTR은 **“스펙트럼을 공간적으로 운반한다”**는 새로운 관점을 도입함으로써, 기존 INR이 갖는 전역‑고정 주파수의 근본적 한계를 뛰어넘는다. 전역 사인 기반을 최소화하고, 학습 가능한 주파수 전송 PDE를 통해 지역 적응성을 확보함으로써 파라미터 효율성, 빠른 수렴, 그리고 직관적인 해석 가능성을 동시에 달성한다. 비록 현재 구현은 PDE 잔차 손실에 의존하고 그리드 해상도에 민감하지만, 이러한 제한은 향후 다중 스케일·조건부·실시간 확장 연구를 통해 충분히 극복될 수 있다. 따라서 NSTR은 다양한 연속 신호 분야에서 차세대 INR 표준이 될 잠재력을 지니며, 스펙트럼 기반 신경 표현 연구에 새로운 연구 지평을 열어준다.

📄 Content

NSTR: 공간‑변화 주파수 필드를 위한 신경 스펙트럼 전송 표현
Plein Versace
Essential.ai, Italy
plein@essential.ai.com

초록

암시적 신경 표현(Implicit Neural Representations, INR)은 이미지·오디오·3D 장면 등 다양한 신호를 표현하는 강력한 패러다임으로 떠올랐습니다. 그러나 현재까지 제안된 INR 프레임워크—Fourier 특성을 갖는 MLP, SIREN, 다중해상도 해시 그리드 등—는 모두 전역적이고 정지된 스펙트럼 기반을 암묵적으로 가정합니다. 이 가정은 실제 세계 신호가 공간에 따라 크게 달라지는 주파수 특성(지역 고주파 텍스처, 부드러운 영역, 주파수 드리프트 등)을 보인다는 점과 근본적으로 맞지 않습니다.

우리는 Neural Spectral Transport Representation (NSTR) 을 제안합니다. NSTR은 공간적으로 변하는 지역 주파수 필드를 명시적으로 모델링하는 최초의 INR 프레임워크입니다. NSTR은 학습 가능한 주파수 전송 방정식(PDE)을 도입하여, 지역 스펙트럼이 공간을 따라 어떻게 진화하는지를 기술합니다. 구체적으로, 학습 가능한 지역 스펙트럼 필드 (S(\mathbf{x}))와 이를 강제하는 전송 네트워크 (F_{\theta})가
[ \nabla S(\mathbf{x}) \approx F_{\theta}(\mathbf{x}, S(\mathbf{x})) ]
를 만족하도록 학습됩니다. NSTR은 이 지역 스펙트럼을 이용해 전역적인 사인 파형 집합을 공간적으로 변조함으로써 신호를 복원합니다.

이 접근법은 강력한 지역 적응성을 제공하고, 주파수 흐름을 시각화함으로써 새로운 수준의 해석 가능성을 부여합니다. 2D 이미지 회귀, 오디오 복원, 암시적 3D 기하 재구성 실험에서 NSTR은 SIREN, Fourier‑feature MLP, Instant‑NGP보다 훨씬 우수한 정확도‑파라미터 트레이드오프를 달성했습니다. NSTR은 전역 주파수 수를 줄이고, 수렴 속도를 높이며, 스펙트럼 전송 필드를 통해 신호 구조를 자연스럽게 설명합니다. 우리는 NSTR이 공간‑변화 스펙트럼을 명시적으로 모델링함으로써 INR 연구에 새로운 방향을 제시한다고 믿습니다.

1. 서론

암시적 신경 표현(INR)은 신호를 연속 함수로 인코딩하고, 이를 신경망(주로 MLP)으로 파라미터화합니다[1‑18]. 이 방식은 이산 격자에 비해 메모리 효율이 높고, 미분 가능하다는 장점으로 신경 렌더링, 기하 처리, 오디오 합성, 과학 시뮬레이션, 압축 등 다양한 분야의 기반이 되었습니다. 대부분의 기존 INR은 좌표 (\mathbf{x}) → 신호값 (f(\mathbf{x})) 로 직접 매핑하는 “좌표‑대‑값” 패러다임을 따릅니다. 이 패러다임은 놀라운 성과를 이끌어냈지만, 전역적·정지된 스펙트럼 기반이라는 강력하지만 거의 검증되지 않은 가정을 내포하고 있습니다.

실제 자연 신호는 공간에 따라 크게 달라지는 스펙트럼 구조를 가집니다. 몇 가지 대표적인 사례는 다음과 같습니다.

• 텍스처·이미지: 국부적인 에지, 주기적 마이크로 텍스처, 부드러운 쉐이딩, 급격한 불연속 등 각 영역마다 전혀 다른 주파수 성분을 가짐.
• 3D 형태·SDF: 거의 평탄한 면(저주파), 모서리·주름(고주파), 위상에 따라 변하는 주파수 변조가 존재.
• NeRF: 시점에 따라 하이라이트, 밀도 구배, 복잡한 빛‑재질 상호작용으로 인해 주파수가 변함.
• 오디오·1D 신호: 로컬 피치 드리프트, 비브라토, 트랜지언트, 조화음 등 전역적으로 정지되지 않은 주파수 패턴을 포함.

이러한 관찰은 기존 INR이 전역 좌표계에 의존하고, 그에 따라 유도되는 표현 기반이 지역 스펙트럼 구조에 적응하지 못한다는 근본적인 한계를 드러냅니다. 예를 들어, SIREN은 공간 전체에 동일한 주파수 (\omega)를 적용하고, Fourier‑feature 임베딩은 고정된 주파수 집합을 사용합니다. 해시 그리드 인코딩은 지역 정보를 저장하지만, 주파수가 공간을 따라 어떻게 변하는지는 명시적으로 모델링하지 못합니다. 결과적으로 네트워크는

1. 부드러운 영역에서 불필요하게 과다 파라미터화,
2. 고주파 영역에서 과소 적합·앨리어싱,
3. 스펙트럼 불일치로 인한 최적화 속도 저하,
4. 이질적인 주파수 분포를 가진 신호를 모델링할 때 확장성 저하

와 같은 문제에 직면합니다.

연구 질문

“고정된 전역 기반이 아니라, 신호의 지역 스펙트럼과 그 공간적 진화를 명시적으로 모델링할 수 있는 INR이 가능한가?”

이를 답하기 위해 우리는 Neural Spectral Transport Representation (NSTR) 을 제안합니다. 핵심 아이디어는 신호를 단순히 (\mathbf{x}\mapsto s(\mathbf{x})) 로 보는 것이 아니라, 공간적으로 진화하는 스펙트럼 필드 로 재해석하는 것입니다. 구체적으로 각 위치 (\mathbf{x})에 지역 스펙트럼 (S(\mathbf{x})) 가 존재하고, 이 스펙트럼은 신경 PDE에 의해 부드럽게 변한다는 가정을 둡니다.

[ \nabla S(\mathbf{x}) = F_{\theta}(\mathbf{x}, S(\mathbf{x})) ]

여기서 (F_{\theta})는 학습 가능한 스펙트럼 흐름 필드이며, 공간을 따라 주파수 기반을 전송(transport) 합니다.

이 접근법의 개념적 장점

• 지역 스펙트럼 적응성: 서로 다른 주파수 특성을 가진 영역이 자연스럽게 서로 다른 로컬 베이스를 갖게 되어 디코더의 부담이 감소.
• 연속적인 주파수 드리프트: PDE 형태는 부드러운 전이와 스트레칭·워핑·변조 텍스처를 자연스럽게 포착.
• 전송 역학에 의한 암묵적 정규화: 스펙트럼 흐름이 구조적 사전(prior) 역할을 하여 학습을 안정화.
• 기하와 지역 변동의 분리: “어떤 주파수가 존재하는가”(스펙트럼 필드)와 “그 주파수가 어떻게 이동하는가”(스펙트럼 흐름)를 분리함으로써 해석 가능하고 압축 가능한 표현을 제공.

실험적으로 NSTR은 훨씬 작은 암시적 필드 네트워크만으로도 복잡한 신호를 재현할 수 있었습니다. 이는 네트워크가 고주파 디테일을 직접 인코딩할 필요가 없고, 스펙트럼 필드가 지역 행동을 적응적으로 요약해 주기 때문입니다. 결과적으로 정밀도 향상, 파라미터 감소, 최적화 안정성을 동시에 달성했습니다.

요약하면, 암시적 표현과 스펙트럼 전송 역학을 결합함으로써 NSTR은 전통적인 좌표‑대‑신호 패러다임에 도전하고, 확장 가능하고 적응적이며 이론적으로 견고한 INR 설계의 새로운 방향을 제시합니다.

2. 관련 연구

2.1 위치 인코딩·Fourier 특성

INR의 주요 난제는 신경망이 저주파 편향을 갖는다는 점입니다. 이를 완화하기 위해 Positional Encoding과 Fourier Features가 도입되었습니다. Tancik 등[19]은 좌표를 고정된 고차원 Fourier 기반으로 투사하면 MLP가 고주파 신호를 표현하고 최적화가 가속된다는 것을 보였습니다. 이후 Gaussian Fourier, 학습형 인코딩, 커널 영감을 받은 좌표 임베딩 등 다양한 변형이 제안되었습니다. 그러나 이들 방법은 전역적·정지된 스펙트럼이라는 근본적인 한계를 공유합니다. 동일한 주파수 집합이 도메인 전체에 일관되게 적용되므로, 공간적으로 이질적인 혹은 드리프트하는 주파수 패턴을 효율적으로 표현하기 어렵습니다.

2.2 SIREN·사인 활성화

Sitzmann 등[20]은 사인 활성화(SIREN) 를 도입해 MLP가 고주파 정보를 비선형 층을 통해 직접 전달하도록 했습니다. 이후 SIREN은 INR 연구의 표준 베이스라인이 되었으며, 신경 연산자, 웨이블릿 INR, 좌표 기반 생성기 등에 영향을 주었습니다. 하지만 SIREN의 표현력은 전역 주파수 스케일 (\omega) 에 여전히 의존합니다. (\omega)는 보통 초기화 시 고정되고 전체 도메인에 공유되므로, 부드러운 영역과 급변하는 영역을 동시에 다룰 때 비효율적입니다. 일부 연구는 학습 가능한 혹은 적응형 (\omega)를 탐색했지만, 이 역시 전역적이며 공간적으로 변하지는 점에서 우리 목표와는 차이가 있습니다.

2.3 다중해상도 해시 그리드·지역 특징 저장소

Instant‑NGP[21]는 다중해상도 해시 그리드를 이용해 INR 최적화를 크게 가속화했습니다. 계층적·지역적인 특징 메모리를 제공함으로써 적은 파라미터와 빠른 수렴을 가능하게 했습니다. 이후 NeRF, 기하, 텍스처, 신경 압축 등 다양한 분야에 확장되었습니다. 그러나 해시 그리드는 주파수 정보를 명시적으로 인코딩하거나 그 공간적 진화를 모델링하지 않으며, 단순히 지역 학습 특징을 저장합니다. 따라서 모델은 여전히 하위 MLP를 통해 암묵적으로 스펙트럼 패턴을 추론해야 하며, 주파수 드리프트를 예측·설명할 수 없습니다.

2.4 PDE·연산자 제약 신경 필드

별도의 연구 흐름에서는 PDE 제약 신경 필드가 탐구되었습니다. 여기서는 신경망이 미분 방정식(예: 포아송, 열, 파동 방정식)을 만족하도록 파라미터화됩니다. 이러한 방법은 물리 시뮬레이션, 신경 연산자, 암시적 기하, 역문제 등에 적용되었습니다. 그러나 이들 접근법은 신호 자체(온도, 밀도, 속도 등)에 PDE를 적용할 뿐, 일반 신호의 지역 주파수 구조에 PDE를 적용한 사례는 없습니다. 현재까지 주파수 필드 (S(\mathbf{x})) 를 신경 PDE로 정의하고,

이 글은 AI가 자동 번역 및 요약한 내용입니다.