시간 시계열 예측을 위한 대형 언어 모델 교육

초록

T‑LLM은 경량의 시간‑스펙트럼 교사 모델을 이용해 대형 언어 모델(LLM)에 직접 예측 능력을 주입하는 역(distillation) 프레임워크이다. 교사는 트렌드와 주파수 정보를 구조화해 LLM에게 지도하고, 추론 단계에서는 교사 없이 LLM만으로 시계열을 예측한다. 실험 결과, 전통적인 LLM 기반 방법보다 전·소·제로 샷 모두에서 우수한 성능을 보였다.

상세 분석

본 논문은 시계열 데이터가 실시간으로만 축적된다는 “시간‑바운드” 제약을 인식하고, 대규모 사전학습만으로는 충분히 일반화된 예측 능력을 획득하기 어렵다는 점을 지적한다. 이를 해결하기 위해 저자들은 ‘역 지식 증류(reverse distillation)’라는 새로운 학습 패러다임을 제안한다. 핵심 아이디어는 경량의 Temporal‑Teacher 를 설계해 LLM에게 직접 예측 행동을 모방하도록 가르치는 것이다.

Temporal‑Teacher는 두 가지 모듈로 구성된다. 첫 번째는 DLinear에서 영감을 받은 Trend Modeling 으로, 입력 시계열을 이동 평균 기반으로 트렌드와 계절성으로 분해한 뒤 각각 선형 변환을 적용한다. 이 과정은 LLM이 직접 학습하기 어려운 장기적인 선형 추세를 명시적으로 제공한다. 두 번째는 Frequency Modeling 으로, FFT 기반의 Adaptive Spectral Block(ASB)을 사용해 주기성을 포착한다. 여기서는 고차원 임베딩 공간에서 스펙트럼을 추출하고, Dominant Spectral Projection(DSP) 을 통해 중요한 주파수 성분만 압축한다. 특히, 예측 horizon에 따라 스펙트럼 차원을 동적으로 조절하는 Horizon‑Conditioned Capacity Schedule 을 도입해 과잉 파라미터를 방지하고, 짧은·긴 예측 모두에 최적화된 주파수 정보를 제공한다.

학습 단계에서는 입력 시계열을 먼저 다중 헤드 어텐션(MHA)으로 채널 간 상호작용을 모델링하고, 이를 LLM의 텍스트 임베딩 공간으로 매핑한다. 이렇게 변환된 표현(E₁)은 Teacher에, 교차 어텐션을 거친 표현(Z₁)은 LLM에 각각 입력된다. Teacher는 위에서 설명한 트렌드·주파수 모듈을 통해 예측 레벨 지도(prediction‑level supervision) 를 생성하고, LLM은 표현‑레벨 교류(representation‑level interaction) 와 예측‑레벨 손실 을 동시에 최소화한다. 손실 함수는 일반적인 MSE와 Teacher‑Student 간 KL‑다이버전스 형태를 결합해, LLM이 Teacher의 확률적 예측 분포를 모방하도록 유도한다.

추론 시에는 Teacher를 완전히 제거하고, 사전 학습된 LLM만을 사용한다. 이는 모델 파라미터를 크게 늘리지 않으면서도, 사전 학습 단계에서 획득한 언어적 일반화 능력과 Teacher가 제공한 구조화된 시간 정보를 결합한다는 점에서 혁신적이다. 실험에서는 ETT, Electricity, Traffic 등 대표적인 벤치마크와 전염병(Influenza, COVID‑19) 예측 데이터셋을 활용했으며, Full‑shot, Few‑shot, Zero‑shot 모두에서 기존 CALF, TimeLLM, Time‑MoE 등을 능가하는 MAE·RMSE 감소를 보고했다. 특히 Zero‑shot 상황에서 LLM만으로도 경쟁력 있는 성능을 유지함은, Temporal‑Distillation이 LLM에 내재된 ‘예측 스킬’을 효과적으로 전이시켰음을 증명한다.

이러한 설계는 (1) 대규모 시계열 사전학습 없이도 LLM에 시계열 예측 능력을 부여, (2) Teacher‑Free 추론으로 배포 비용 최소화, (3) 트렌드·주파수 두 축을 동시에 활용해 다양한 시계열 패턴에 강인함을 제공한다는 세 가지 주요 장점을 가진다. 향후 연구에서는 멀티‑모달 시계열(예: 이미지‑시계열 결합)이나 온라인 학습 시나리오에 Temporal‑Distillation을 확장하는 방향이 기대된다.