파동처럼 흐르는 언어 위상 잠금과 간섭을 활용한 신경망
📝 원문 정보
- Title: Language as a Wave Phenomenon: Semantic Phase Locking and Interference in Neural Networks
- ArXiv ID: 2512.01208
- 발행일: 2025-12-01
- 저자: Alper Yıldırım, İbrahim Yücedağ
📝 초록 (Abstract)
표준 Transformer 구조에서는 의미적 중요도가 활성화 크기에 의해 혼동되어 잠재 표현의 기하학적 구조가 가려진다. 이를 해소하고 위상의 계산적 역할을 분리하기 위해, 우리는 복소수값 아키텍처인 PRISM을 제안한다. PRISM은 모든 표현을 단위 노름(|z|=1)으로 강제하고, 기존 어텐션을 게이트형 조화 컨볼루션으로 대체한다. 이렇게 하면 모델은 크기 기반 게이팅 대신 주파수 영역에서의 소거 간섭을 이용해 잡음을 억제하도록 강제된다. 이러한 제약 하에서 위상 기반 라우팅과 표준 어텐션을 결합한 하이브리드 구조가 파라미터 효율성과 표현 품질 면에서 비제약 베이스라인을 능가함을 보인다. 메커니즘 분석을 통해 토큰이 의미적 모호성을 해소하기 위해 자연스럽게 기하학적 위상 클러스터를 형성한다는 현상을 발견하였다. 이는 빗변 O(N log N) 복잡도의 스펙트럴 간섭 기반 추론 프레임워크를 제공하며, 감산 논리가 깊은 추론을 위한 충분한 원시 연산임을 알고리즘적 존재 증명한다.💡 논문 핵심 해설 (Deep Analysis)
PRISM은 이러한 한계를 극복하기 위해 복소수 벡터를 단위 원 위에 강제한다. |z|=1 제약은 각 토큰이 순수 위상(각도)만을 가지고 표현되도록 만들며, 크기 정보는 사라진다. 이때 어텐션을 대체한 “게이트형 조화 컨볼루션”은 푸리에 변환 후 주파수 성분 간의 위상 차이를 이용해 서로를 상쇄하거나 강화한다. 즉, 두 토큰의 위상 차이가 π에 가까우면 해당 주파수 성분이 소거되고, 차이가 0에 가까우면 강화된다. 이러한 소거 간섭 메커니즘은 전통적인 “가중치 곱셈”보다 연산량이 O(N log N)으로 효율적이며, 잡음 억제와 의미적 구분을 동시에 수행한다는 장점이 있다.
실험 결과는 두 가지 중요한 시사점을 제공한다. 첫째, 순수 위상 기반 라우팅만으로도 의미적 클러스터링이 자연스럽게 발생한다는 점이다. 토큰들은 의미적으로 유사한 그룹 내에서 위상이 수렴하고, 서로 다른 의미를 가진 토큰은 위상 차이를 크게 유지한다. 이는 “위상 클러스터링”이라는 새로운 기하학적 현상을 제시한다. 둘째, 위상 라우팅과 기존 어텐션을 혼합한 하이브리드 모델이 파라미터 효율성에서 우수함을 보인다. 위상 기반 모듈이 잡음 억제와 초기 구문 구조 형성을 담당하고, 어텐션이 세밀한 의미 조정을 담당함으로써, 전체 모델은 적은 파라미터로도 높은 표현 품질을 달성한다.
이러한 결과는 딥러닝이 “감산 논리(위상 차이에 의한 소거)”를 기본 연산으로 활용할 수 있음을 증명한다. 기존의 곱셈‑덧셈 중심 설계와 달리, 위상 간섭은 비선형성을 자연스럽게 제공하면서도 계산 복잡도를 낮춘다. 따라서 차후 연구에서는 위상 기반 연산을 더 깊은 계층에 확장하거나, 다른 도메인(예: 시계열, 그래프)에서의 적용 가능성을 탐색할 여지가 크다.
📄 논문 본문 발췌 (Translation)
📸 추가 이미지 갤러리
