진동자만 있으면 충분하다: 불규칙 시계열을 위한 감쇠 조화 진동자 모델

초록

본 논문은 불규칙 시계열 처리에 있어 기존 ContiFormer가 사용하던 무거운 Neural ODE 솔버를 폐기하고, 선형 감쇠 조화 진동자(damped harmonic oscillator)의 닫힌 형태 해를 이용한 “OsciFormer”를 제안한다. 키와 값을 진동자로 모델링하고 쿼리를 사인·코사인 기반 모드로 전개함으로써, 연산 비용을 크게 낮추면서도 연속시간 어텐션의 보편 근사성을 유지한다. 실험 결과, 다양한 불규칙 시계열 벤치마크에서 기존 최첨단 모델과 동등하거나 우수한 정확도를 보이며, 속도는 수십 배에서 수백 배까지 향상된다.

상세 분석

OsciFormer의 핵심 아이디어는 ContiFormer가 NODE를 통해 연속시간 키·값 궤적을 생성하는 방식을, 물리학에서 잘 알려진 선형 감쇠 조화 진동자 시스템으로 대체한다는 점이다. 진동자 방정식 ¨x + 2γ ẋ + ω²x = F(t) 은 γ(감쇠)와 ω(자연주파수)를 학습 가능한 파라미터로 두고, 외부 구동력 F(t) 또는 초기 속도 매핑을 통해 복잡한 비선형 동역학을 근사한다. 이 2차 미분 방정식은 행렬 형태로 1차 ODE로 변환될 수 있으며, 고유값 분석을 통해 과감하게 언더‑덴드, 크리티컬, 오버‑덴드 세 경우에 대한 해를 닫힌 형태로 얻는다.

키와 값은 각각 독립적인 진동자 파라미터(γₖ, ωₖ 및 γᵥ, ωᵥ)를 갖고, 초기 상태 z₀ 를 학습한다. 쿼리는 q(t)=∑{k=1}^J A_k cos(ω_k t)+B_k sin(ω_k t) 와 같은 유한 사인·코사인 전개로 표현한다. 이렇게 하면 어텐션 스코어 α_i(t)= (1/Δ)∫{t_i}^{t}⟨q(τ),k_i(τ)⟩dτ 는 각 모드별로 곱셈·적분이 가능해지고, 결국 J 개의 모드에 대한 간단한 조합식으로 닫힌 형태 해를 얻는다.

이론적으로 저자들은 연속시간 어텐션 행렬을 임의의 정확도로 근사할 수 있음을 정리 1과 그 보조 정리들을 통해 증명한다. 핵심은 트리곤메트릭 다항식(Fejér 급수)을 이용해 키 함수를 진동자 은행으로 근사하고, 그 근사 오차가 어텐션 로짓에 선형적으로 전파된다는 점이다. 또한 감쇠가 아주 작을 경우(γ ≤ γ̄)에도 근사성이 유지된다는 코롤라리를 제시해, 실제 학습 과정에서 감쇠 파라미터가 안정적으로 학습될 수 있음을 보장한다.

복잡도 분석에서는 기존 NODE 기반 구현이 T_num = Θ(N² S d²) (여기서 S 는 시간 스텝 수)인 반면, OsciFormer은 T_cf = Θ(N² J d) 로 전환된다. J (모드 수)가 S·d 보다 작으면 연산량이 수백 배 감소한다. 또한 순차 깊이 D_cf = Θ(1) 와 메모리 요구량 M_cf = Θ(N² d) 는 각각 Θ(S) 와 Θ(S) 배 감소한다. 실험에서는 S=80, d=64, J=8 조건에서 T_cf/T_num≈1/640 이라는 실질적인 3자리 수 가속을 확인했다.

성능 평가에서는 6개의 불규칙 시계열 데이터셋(금융, 천문, 의료 등)에서 정확도·로그우도 모두 ContiFormer와 동등하거나 약간 우수했으며, 특히 긴 컨텍스트 UCR 벤치마크와 임상 HR 데이터에서는 메모리 초과 없이 최고의 RMSE를 기록했다. 합성 불규칙 시퀀스에서는 99.83 % 정확도와 0.56 분/epoch의 학습 속도를 달성, 비교 모델들을 크게 앞섰다.

전체적으로 이 논문은 물리 기반 모델링을 통해 연속시간 어텐션의 계산 병목을 근본적으로 해소하고, 이론적 보편 근사성까지 제공함으로써 불규칙 시계열 분야에 새로운 패러다임을 제시한다.