시간 인덱스 기반 파운데이션 모델, 시계열 결측값 복원에 새로운 패러다임

초록

본 논문은 시간 인덱스 기반 파운데이션 모델인 TabPFN‑TS와 MoTM을 zero‑shot 방식으로 33개의 이질적인 단변량 시계열 데이터셋에 적용해 결측값 복원 성능을 평가한다. 대규모 실험 결과 TabPFN‑TS가 평균 정규화 MAE 0.293으로 가장 우수하며, 두 모델 모두 사전 학습된 연속‑시간 표현을 활용해 추가 공변량을 별도 재학습 없이 인퍼런스 단계에서 결합할 수 있음을 확인한다.

상세 분석

이 연구는 최근 급부상한 시간 인덱스 파운데이션 모델을 시계열 결측값 복원(zero‑shot imputation) 분야에 최초로 적용·비교한 점에서 의미가 크다. 두 모델은 공통적으로 연속‑시간(time‑indexed) 표현 H(t)를 각 시점에 할당하고, 이를 기반으로 회귀기를 적용해 관측값을 예측한다는 설계 철학을 공유한다.

TabPFN‑TS는 전통적인 테이블 회귀 파운데이션 모델(TabPFN)을 시계열에 맞게 변형하였다. 시간 인덱스를 정규화하고 일·주기 Fourier basis(사인·코사인)를 추가한 고정형 특징 벡터를 만든 뒤, 사전 학습된 대규모 트랜스포머 회귀기에게 “프롬프트”(관측된 (H(t_obs), x(t_obs)) 쌍) 형태로 입력한다. 트랜스포머는 이 프롬프트를 자체 어텐션으로 처리해 함수 관계를 추론하고, 결측 시점의 특징 H(t_miss) 에 대해 한 번의 포워드 패스로 값을 출력한다. 이 과정은 미분 기반 파인튜닝이 전혀 필요 없으며, 불확실성도 출력 분포로 제공한다.

MoTM은 보다 복합적인 구조를 가진다. 사전 학습된 K개의 Implicit Neural Representation(INR) 기반 basis를 하이퍼네트워크가 동적으로 생성하고, 각 INR은 연속 시간 t 를 고차원 특징으로 매핑한다. 이렇게 얻은 H(t)는 K개의 INR 출력들을 concat한 형태다. 결측 복원 단계에서는 관측된 시점들의 H(t_obs)와 실제 값 x(t_obs)를 이용해 간단한 Ridge 회귀기를 로컬하게 학습한다. 학습된 회귀기를 그대로 결측 시점 H(t_miss)에 적용해 값을 예측한다. 공변량이 존재할 경우 H(t)와 공변량을 concat 하면 별도 재학습 없이 동일한 Ridge 회귀가 적용된다. 또한 양적 회귀기를 교체하면 불확실성 구간도 제공한다.

실험 설계는 두 가지 축을 중심으로 한다. 첫째, 33개의 공개 데이터셋(총 1.3 M 윈도우)에서 50 %·70 % 포인트 결측과 2·4일 블록 결측을 무작위로 생성해 zero‑shot 성능을 평가했다. 둘째, 세 개의 복합 데이터셋에서 추가 공변량(예: 기상 변수, 설비 상태) 을 인퍼런스 시점에 삽입해 정확도 향상을 측정했다.

결과는 다음과 같다. 평균 정규화 MAE 기준 TabPFN‑TS가 0.293으로 최우수, MoTM이 0.371로 그 뒤를 이었다. CD(critical difference) 분석에서도 TabPFN‑TS가 통계적으로 모든 경쟁 모델보다 우수했으며, MoTM은 SAITS와 비슷한 순위를 기록했다. 흥미롭게도, 전통적인 로컬 방법(선형 보간, LOCF 등)도 일정 수준의 성능을 유지했지만 파운데이션 모델과는 큰 격차를 보였다. 공변량 통합 실험에서는 두 모델 모두 사전 학습된 표현을 그대로 사용하면서도 MAE를 평균 10 % 이상 감소시키는 효과를 확인했다.

제한점으로는 (1) TabPFN‑TS가 handcrafted Fourier 특징에 크게 의존해 시계열 주기가 명확히 정의되지 않은 경우 성능 저하 가능성, (2) MoTM의 로컬 Ridge 회귀가 고차원 특징에 비해 과적합 위험이 존재함, (3) 두 모델 모두 매우 긴 시계열(수천·수만 샘플)에서는 메모리·연산 비용이 증가한다는 점을 지적한다. 향후 연구는 (i) 자동화된 특징 학습을 통한 시계열 주기 탐색, (ii) 효율적인 대규모 인퍼런스 구현, (iii) 멀티변량·다중공변량 상황에서의 확장성을 검증하는 방향으로 진행될 필요가 있다.

전반적으로 이 논문은 파운데이션 모델을 시계열 결측 복원에 적용함으로써, 사전 학습된 연속‑시간 표현이 다양한 도메인에 걸쳐 강건한 zero‑shot 성능을 제공한다는 중요한 증거를 제시한다. 특히 TabPFN‑TS는 기존 딥러닝 기반 imputer를 능가하는 정확도와 즉시 적용 가능성을 동시에 갖추어, 실무 현장에서 데이터 전처리 파이프라인을 크게 간소화할 잠재력을 보여준다.