스페이스타임 진화와 어트랙터 기반 일반화 모델

초록

본 논문은 길이 일반화 실패를 물리학적 제약으로 설명하고, 지역성·대칭성·안정성이라는 세 가지 포스트를 기반으로 신경 셀룰러 오토마톤(SEAD) 구조를 제안한다. SEAD는 국소 컨볼루션 연산을 반복해 수렴하도록 설계돼, 파리티, 대규모 정수 덧셈, 튜링 완전 셀룰러 오토마톤인 Rule 110 등에서 무한 길이까지 100 % 정확도를 달성한다.

상세 분석

이 논문은 현재 트랜스포머 기반 모델이 훈련 길이보다 긴 입력에 대해 급격히 성능이 붕괴되는 현상을 ‘길이 일반화 실패’라 명명하고, 이를 단순히 파라미터 규모나 학습 기법의 문제로 보지 않는다. 저자들은 인간 두뇌가 물리적 제약—정보 전파 속도의 유한성, 공간·시간에 대한 대칭성, 그리고 열역학적 안정성—에 의해 자연스럽게 규칙을 추출하고 무한히 확장할 수 있음을 강조한다. 이를 수학적으로 정형화하기 위해 세 가지 포스트를 제시한다.

첫 번째 포스트인 **지역성(Relativistic Causality)**은 정보가 인접한 이웃을 통해서만 전파될 수 있음을 의미한다. 이는 물리학에서 빛의 속도 제한과 동일하게, 신경망이 전역적인 ‘액션 앳 어 디스턴스’를 허용하면 학습된 규칙이 입력 길이에 의존하게 된다는 점을 비판한다. 두 번째 포스트인 **스페이스타임 대칭성(Spacetime Symmetry)**은 연산 규칙이 공간·시간 좌표에 불변이어야 함을 주장한다. 즉, 동일한 연산이 입력 시퀀스 어디에서든 동일하게 적용되어야 하며, 이는 수학적 귀납법의 기반이 된다. 세 번째 포스트인 **열역학적 안정성(Thermodynamic Dissipation and Stability)**은 장시간 연산 과정에서 잡음이 누적되지 않도록 시스템이 이산적인 어트랙터(Attractor) 구조를 가져야 함을 의미한다. 이는 디지털 신호가 잡음에 강한 이유와 유사하게, 연산 상태가 지속적으로 안정된 고정점으로 수렴하도록 설계되어야 함을 시사한다.

이 세 포스트를 만족하는 연산자는 공유 파라미터를 가진 로컬 연산자가 된다. 수식적으로는 컨볼루션 커널이나 재귀적 규칙과 동일하며, 이는 ‘전역 논리 연산자’를 지역적 진화 연산자(Φ)로 압축한다. 저자들은 이를 구현하기 위해 Neural Cellular Automaton 형태의 모델, 즉 SEAD(Spatiotemporal Evolution with Attractor Dynamics)를 설계한다. SEAD는 입력을 초기 상태로 두고, Φ를 반복 적용해 상태가 수렴할 때까지 진행한다. 수렴 과정은 자연스럽게 라이트 콘(light‑cone) 구조를 형성해 입력 길이에 비례한 연산 깊이를 제공하므로, 긴 시퀀스에서도 계산량이 입력에 적응한다.

실험에서는 세 가지 베이스라인을 선택했다. 첫째, 파리티 문제에서 SEAD는 라이트 콘 전파를 통해 길이 무관하게 정확히 0/1을 예측한다. 둘째, 16자리 덧셈을 학습한 뒤 1 M자리까지 확장했을 때 100 % 정확도를 유지했으며, 이는 기존 트랜스포머가 2‑3배 정도만 일반화 가능한 것과 큰 차이를 보인다. 셋째, Rule 110이라는 튜링 완전 셀룰러 오토마톤을 학습했을 때도 궤적 발산 없이 정확히 재현한다. 특히, SEAD는 입력 길이에 따라 반복 횟수를 자동 조절하는 ‘입력 적응형 연산’ 특성을 보여, 물리적 제약을 만족하면서도 효율적인 연산을 수행한다는 점에서 의미가 크다.

전체적으로 이 논문은 **‘통계적 학습 → 인과적 일반화’**라는 패러다임 전환을 제시한다. 기존의 대규모 파라미터와 복잡한 인코딩 기법이 아니라, 물리학적 제약을 모델 설계에 직접 반영함으로써 인간 수준의 규칙 일반화를 달성할 수 있음을 실증한다. 이는 앞으로 알고리즘적 추론, 수학적 증명, 프로그래밍 언어 해석 등 정확한 논리 연산이 요구되는 분야에 새로운 설계 원칙을 제공한다.