엔트로피 기반 동적 패치 세분화로 강화된 시계열 트랜스포머

초록

본 논문은 시계열 트랜스포머에서 고정 길이 패치가 초래하는 시간적 일관성 손실을 해결하기 위해, 조건부 엔트로피를 이용해 전이점을 자동 탐지하고 동적으로 패치 경계를 설정하는 EntroPE 프레임워크를 제안한다. 엔트로피 기반 동적 패처(EDP)와 적응형 패치 인코더(APE)로 구성된 이 시스템은 예측, 분류, 이상 탐지 등 다양한 작업에서 정확도와 효율성을 동시에 향상시킨다.

상세 분석

EntroPE는 두 단계로 구성된다. 첫 번째 단계는 경량 인코더‑디코더 구조의 인포메이션‑이론 기반 엔트로피 모델을 사전 학습(pre‑training)하여 시계열의 조건부 엔트로피 분포를 추정한다. 이 모델은 양자화된 토큰 시퀀스를 입력받아 다음 토큰에 대한 확률 분포를 출력하고, 이를 통해 각 시점의 엔트로피 H(t)를 계산한다. 높은 엔트로피는 과거 정보만으로 미래를 예측하기 어려운 전이점(예: 트렌드 전환, 급격한 변동)임을 의미한다.

두 번째 단계에서는 실제 작업 데이터에 대해 채널별로 엔트로피 시퀀스를 얻은 뒤, 샘플‑특정 양자화된 절대값 임계치(α‑quantile)와 차분값 임계치(ΔH의 α‑quantile)를 적용해 경계 후보를 선정한다. 이렇게 하면 전역적인 하이퍼파라미터 튜닝 없이도 데이터마다 최적의 패치 길이가 자동으로 결정된다.

동적으로 생성된 패치는 가변 길이를 가지지만, APE 모듈은 패치 내부를 풀링 및 교차‑어텐션(cross‑attention)으로 집계해 고정 차원의 임베딩으로 변환한다. 교차‑어텐션은 패치 내부의 세부 시계열 패턴을 보존하면서도 전역 트랜스포머 레이어에 전달할 수 있는 요약 정보를 제공한다. 또한 Fusion Decoder는 로컬 인코더 히든 스테이트와 전역 패치 컨텍스트를 다시 결합해 최종 예측을 수행한다.

핵심 기술적 기여는 다음과 같다. (1) 조건부 엔트로피를 경계 탐지 기준으로 삼아, “예측 불확실성 피크”에 패치를 맞춤으로써 기존 고정‑길이 패치가 초래하는 트렌드 파편화를 방지한다. (2) 샘플‑레벨 양자화 기반 임계치 설정으로 인간 개입을 최소화하고, 다양한 시계열 특성(비정상성, 계절성, 다중 주기)에도 유연하게 대응한다. (3) 가변‑길이 패치를 고정 차원으로 압축하는 APE 설계는 연산 복잡도를 O(N·l) → O(N·k) (N: 전체 시점, l: 평균 패치 길이, k: 고정 차원) 로 감소시키면서도 성능 저하를 일으키지 않는다.

실험 결과는 세 가지 벤치마크(장기 예측, 시계열 분류, 이상 탐지)에서 기존 PatchTST, Informer, Autoformer 등을 능가함을 보여준다. 특히, 동일한 FLOPs 조건에서 EntroPE는 평균 2.3%~4.7%의 MAE/Accuracy 향상을 기록했으며, 패치 경계 탐지 비용이 전체 파이프라인의 5% 미만에 불과해 실시간 응용에도 적합함을 입증한다.

한계점으로는 엔트로피 모델 사전 학습 단계가 추가적인 데이터 전처리를 요구하고, 양자화 비트 수(V)와 임계치 α 선택이 데이터셋에 따라 민감하게 작용할 수 있다는 점이다. 향후 연구에서는 멀티‑채널 간 상관관계를 고려한 공동 엔트로피 모델링과, 엔트로피 기반 경계 탐지를 end‑to‑end 방식으로 통합하는 방안을 모색할 수 있다.