시간 시계열 변환 전처리의 함정 정규화가 트랜스포머 표현력에 미치는 영향

초록

본 논문은 시계열 데이터를 트랜스포머에 입력하기 전 수행되는 정규화와 스케일링이 모델의 표현력에 미치는 영향을 이론적으로 분석한다. 인스턴스 기반 표준화·전역 표준화·인스턴스 기반 Min‑Max·전역 Min‑Max 네 가지 방법에 대해 새로운 표현력 프레임워크를 도입하고, 각각에 대한 상한·하한을 도출하였다. 실험 결과는 정규화 선택이 작업과 데이터 특성에 따라 성능을 크게 좌우하며, 경우에 따라 정규화를 전혀 적용하지 않는 것이 최적일 수 있음을 보여준다.

상세 분석

논문은 먼저 시계열 표현 학습에서 “표현력”을 정의한다. 입력 시계열 X와 ε‑유사 이웃 Nε(X)를 설정하고, 모델 f가 ε‑이웃 안의 두 샘플을 출력 공간에서 σ 이상 차이 나게 구분할 확률을 Eε