시간적 합성곱 신경망의 보편 근사 정리

본 논문은 최근 시퀀스‑투‑시퀀스(task) 분야에서 순환 신경망(RNN)에서 시간적 합성곱 신경망(TCN)으로 패러다임이 이동하고 있는 현상을 이론적으로 뒷받침한다. 저자들은 먼저 입력‑출력(i/o) 맵을 실수 시퀀스 집합 S 위의 연산자로 정의하고, 인과성(causality)과 시간불변성(time‑invariance)을 기본 전제로 설정한다. 이러한 맵이 ‘근사적으로 유한 메모리(approximately finite memory)’를 가진다면, 즉 어떤 ε>0에 대해 충분히 큰 정수 m이 존재해 윈도우 연산자 W_{t,m}을 적용했을 때 원래 출력과 차이가 ε 이하가 되면, 해당 i/o 맵은 TCN으로 근사 가능하다는 것이 핵심 주장이다. 논문은 먼저 기존 정의를 정형화하고, ‘윈도우 연산자’ W_{t,m}을 통해 과거 m 단계만을 보존한 입력 시퀀스를 만든다. 그런 다음, 입력의 최근 m+1개 값만을 사용해 출력 시점 t를 결정하는 함수 ˜F_t:ℝ^{t+1}→ℝ를 정의한다. 이 함수가 연속이며 연속성 모듈러스 ω_t,F(·) 를 갖는다면, Hanin‑Sellke(2018)의 결과를 이용해 ReLU 기반 피드포워드 신경망 f:ℝ^{m+1}→ℝ가 ˜F_m을 임의의 정확도 안에서 근사할 수 있음을 보인다. 여기서 네트워크의 폭은 m+2, 깊이는 O(ω^{-1}_{m,F}((1−γ)ε)·(m+2)) 로, γ∈(0,1) 은 메모리 길이와 깊이 사이의 트레이드오프 파라미터이다. 즉, γ를 작게 잡으면 깊이가 늘어나고, 크게 잡으면 메모리 길이가 짧아진다. 다음으로 저자들은 ‘페이딩 메모리(fading memory)’ 개념을 도입한다. 가중치 시퀀스 w∈W(01) 시스템이 근사 유한 메모리와 연속성 모듈러 조건을 만족함을 보인다. 구체적으로, 메모리 길이 상한은 식 (12) 로, 연속성 모듈러스는 식 (13) 로 주어진다. 따라서 점증적 안정성을 갖는 대부분의 선형·비선형 시스템은 앞서 제시한 TCN 근사 정리의 적용 대상이 된다. 마지막으로, 저자들은 기존 연구와 비교해 TCN이 RNN 대비 계산 효율성(병렬 처리 가능성)과 이론적 표현력(근사 가능성) 모두에서 충분히 경쟁력 있음을 강조한다. 특히, 메모리 길이와 네트워크 깊이 사이의 명시적 트레이드오프는 실무에서 모델 설계 시 중요한 지표가 될 수 있다. 논문은 모든 증명을 보조 자료에 제공하며, 향후 연구 방향으로는 더 일반적인 비선형 활성화 함수와 다변량 시퀀스에 대한 확장 가능성을 제시한다.