범용 시퀀스 전처리

초록

본 논문은 선형 동적 시스템(LDS)에서 목표 시퀀스를 정규화하기 위해 차수‑n 단위 체비쉐프 다항식의 계수를 이용한 보편적 전처리 방법을 제안한다. 이 전처리를 적용하면 회귀와 스펙트럼 필터링 두 가지 온라인 예측 알고리즘 모두에 대해 숨겨진 차원에 독립적인 서브선형(regret) 경계가 얻어지며, 특히 고유값이 복소 평면에서 작은 각을 갖는 마진 안정(marginally stable) 및 비대칭 전이 행렬에도 적용 가능함을 증명한다. 실험 결과는 RNN을 포함한 다양한 모델에서 성능 향상을 확인한다.

상세 분석

이 논문은 “시퀀스 전처리”라는 전통적인 차분(differencing) 개념을 일반화하여, 임의의 고정 계수 집합 c₀,…,cₙ을 사용해 입력 시퀀스를 컨볼루션하는 프레임워크를 제시한다. 핵심 아이디어는 선형 동적 시스템( LDS )의 관측식 yₜ = Σₛ C A^{t‑s} B uₛ 로부터, 전처리된 시퀀스 Σᵢ cᵢ y_{t‑i} 를 전개하면 숨겨진 전이 행렬 A에 다항식 p_cₙ(A)를 적용한 형태가 나타난다는 점이다. 즉, 전처리 자체가 A에 대한 다항식 변환을 수행하므로, 적절한 다항식을 선택하면 A의 스펙트럼을 크게 축소시켜 학습 난이도를 낮출 수 있다.

논문은 두 가지 학습 알고리즘에 대해 이 아이디어를 구체화한다. 첫 번째는 Convex Regression(선형 회귀)이며, 여기서는 전처리 계수를 n차 단위 체비쉐프 다항식의 계수로 고정한다. 체비쉐프 다항식은