시계열 기반 모델의 보편적 중복성 탐구

초록

본 논문은 최신 트랜스포머 기반 시계열 파운데이션 모델(TSFM)들이 중간 레이어에서 높은 중복성을 보이며, 전체 헤드의 약 28%를 제거해도 성능 저하가 미미함을 실증한다. 잔차 스트림에 대한 직접 로그잇 귀속과 안정적 랭크 기반 헤드 선택을 활용한 메커니즘 해석 도구를 제시하고, 이를 통해 컨텍스트 복제와 계절성 편향을 일으키는 특정 헤드를 규명한다. 또한 트랜스포머를 커널 회귀기로 모델링하는 이론적 프레임워크를 제시한다.

상세 분석

이 연구는 시계열 파운데이션 모델(TSFM)이 대규모 사전학습을 통해 제로샷 예측 능력을 획득한다는 전제 하에, 모델 내부 구조가 실제 예측에 얼마나 기여하는지를 정밀히 측정한다. 핵심 분석 도구는 (1) 레이어별 잔차 스트림(residual stream) 업데이트를 시각화하고 엔트로피 변화를 정량화하는 직접 로그잇 귀속(Direct Logit Attribution, DLA)이며, (2) 각 레이어와 헤드의 기여도를 평가하기 위한 구조적 소거(ablation) 실험이다. DLA 결과, 초기 레이어는 “스푸리어스 라인 오브 생각”(spurious lines of thought)을 생성해 불연속적인 예측 경로를 제시하지만, 중간 레이어는 거의 동일한 업데이트를 반복하며 확률 분포의 엔트로피를 증가시켜 불확실성을 높인다. 반면 최종 레이어는 이전 레이어에서 형성된 구조를 정제해 최종 토큰을 선택한다. 이러한 현상은 엔트로피와 엔트로피 랭크(entropic rank) 측정에서 중간 레이어가 가장 높은 값을 보이는 것으로 뒷받침된다.

이론적 기여로는 트랜스포머의 어텐션을 Nadaraya‑Watson 커널 회귀(NW estimator)와 동일시하는 프레임워크를 제시한다. 쿼리·키 프로젝션 행렬의 결합 행렬 M에 대한 특이값 분해(SVD)를 통해 각 헤드의 “샤프니스”(sharpness)를 정의하고, 특이값이 크게 차이나는 경우 좁은 대역폭의 가우시안 커널을 구현한다는 점을 밝혀냈다. 이를 기반으로 안정적 랭크(stable rank)를 헤드 선택 기준으로 사용하면, 낮은 랭크를 가진 헤드가 모델 출력에 거의 영향을 주지 않으며, 고랭크 헤드가 컨텍스트 복제(parroting)와 계절성 편향(seasonality bias) 같은 병목 현상을 일으킨다.

실험적으로는 Chronos, Chronos‑Bolt, TimesFM 2.5, Toto, Moirai 등 다섯 가지 최신 TSFM을 GIFT‑Eval 벤치마크와 자체 합성 데이터셋에 적용했다. 레이어 전체 소거 실험에서는 중간 레이어(대략 3~10번째 레이어)의 모든 어텐션 헤드와 MLP를 제거해도 평균 절대 비율 오차(MASE) 상승이 6% 이하에 머물렀다. 헤드 수준에서는 전체 헤드의 28%를 고른 기준(엔트로피 순, 안정적 랭크 순)으로 제거했을 때도 성능 저하가 미미했으며, 특히 “샤프” 헤드 하나를 제거하면 컨텍스트 복제가 급격히 사라지는 현상이 관찰되었다. 또한 Encoder‑Decoder 구조인 Chronos‑Bolt은 Decoder‑Only 구조인 Toto에 비해 MLP 소거에 대한 복원력이 현저히 높아, 아키텍처가 정보 흐름을 어떻게 분산시키는지에 대한 새로운 질문을 제기한다.

결과적으로, TSFM은 초기와 최종 레이어에 핵심 정보를 집중하고, 중간 레이어는 과잉 파라미터화된 “예비” 연산을 수행한다는 보편적 패턴을 보인다. 이는 모델 압축, 효율적인 파인튜닝, 그리고 해석 가능한 시계열 예측 시스템 설계에 직접적인 시사점을 제공한다.