플레임: 경량 흐름 기반 레전드레 메모리 시계열 예측 모델

초록

FLAME은 레전드레 메모리(Legendre Memory)를 인코더·디코더에 적용하고, 정규화 흐름(Normalizing Flow) 헤드를 도입해 경량화된 시계열 파운데이션 모델을 구현한다. 번역·스케일 레전드레 변형(LegT, LegS)으로 지역 패턴을 압축하고, SSD‑Decoder와 다중 헤드 어텐션으로 장기 의존성을 학습한다. 확률적·확정적 예측을 모두 지원하며, TSFM‑Bench와 ProbTS 벤치마크에서 제로샷 상태‑최고 성능을 달성한다.

상세 분석

FLAME은 최근 급부상하고 있는 시계열 파운데이션 모델 트렌드에 “경량화 + 확률적 생성”이라는 두 축을 동시에 달성하려는 시도로 눈길을 끈다. 핵심 아이디어는 레전드레 메모리(Legendre Memory)를 이용해 연속시간 히스토리를 고정 차원의 상태벡터로 압축하는 것이다. 논문에서는 두 가지 변형, 즉 최근 구간에 균등 가중치를 부여하는 번역 레전드레(LegT)와 전체 히스토리에 균등 가중치를 부여하는 스케일 레전드레(LegS)를 각각 인코더와 디코더에 매핑한다.

인코더 단계에서는 패치 기반 토크나이제이션 후, FFT를 이용해 입력 시계열의 기본 주기를 탐지하고, 해당 주기에 맞춰 패치를 패딩한다. 이렇게 얻어진 “지역 환경 패치”는 가변 길이를 갖지만 LegT를 통해 고정 차원(d)으로 압축된다. 압축된 환경 토큰은 원본 토큰과 합산되어 MSA‑Encoder에 입력되며, 다중 헤드 셀프 어텐션을 통해 토큰 간 상관관계와 지역 패턴을 동시에 학습한다. 이 과정은 고정된 리셉티브 필드의 한계를 극복하고, 다양한 주기성을 가진 다중 도메인 시계열에 대한 일반화 능력을 크게 향상시킨다.

디코더에서는 LegS 기반 SSD‑Decoder를 사용한다. SSD는 구조적 상태공간 모델(Structured State‑Space Duality)의 일종으로, 레전드레 메모리에서 유도된 초기 상태 전이 행렬을 활용해 장기 의존성을 효율적으로 처리한다. 기존 Transformer 기반 디코더에 비해 파라미터와 연산량이 현저히 낮으며, 선택적 상태 업데이트 메커니즘 덕분에 긴 시계열에서도 안정적인 예측이 가능하다. 또한, MCA‑Enhancer(다중 헤드 교차 어텐션) 모듈을 추가해 인코더와 디코더 사이의 정보 흐름을 강화한다.

확률적 예측을 위해 FLAME은 정규화 흐름(Normalizing Flow) 기반 헤드를 설계한다. 토큰 단위로 복합적인 확률분포를 모델링하기 위해 역전파 가능한 가역 변환을 여러 층 쌓아, 단순 가우시안 사전분포를 실제 데이터 분포로 매핑한다. 이때 토큰 간 인과관계를 보존하도록 조건부 흐름을 설계했으며, 이는 기존 Diffusion 기반 방법보다 학습·추론 비용이 낮고, 해석 가능성도 높다.

실험에서는 TSFM‑Bench와 ProbTS라는 두 대형 벤치마크에서 제로샷 설정으로 평가하였다. FLAME‑10M(10 M 파라미터) 모델조차도 기존 수백 억 파라미터 규모의 파운데이션 모델보다 적은 연산량으로 MSE, MAE, CRPS 등 다양한 지표에서 최고 수준을 기록했다. 특히 확률적 예측에서 CRPS 점수가 크게 개선돼, 복잡한 불확실성 모델링에 정규화 흐름이 효과적임을 입증했다.

한계점으로는 레전드레 메모리의 차원 d와 슬라이딩 윈도우 길이 θ 사이의 트레이드오프가 존재한다는 점이다. d가 충분히 크면 근사 오차가 감소하지만 메모리와 연산량이 증가한다. 또한, FFT 기반 주기 탐지는 비정상적 혹은 다중 주기 신호에 대해 과소‑과대 추정될 가능성이 있다. 향후 연구에서는 적응형 윈도우 길이와 비선형 주기 탐지 기법을 결합해 이러한 문제를 보완할 수 있다. 전반적으로 FLAME은 경량화와 확률적 생성이라는 두 축을 동시에 만족시키는 설계가 시계열 파운데이션 모델 분야에 새로운 패러다임을 제시한다.