대용량 시계열 데이터의 DTW 검색을 위한 혁신적 인덱스‑시퀀스 구조 TWIST

본 논문은 동적 시간 왜곡(Dynamic Time Warping, DTW) 거리를 활용한 시계열 유사도 검색이 대규모 데이터베이스에서 직면하는 두 가지 주요 병목, 즉 높은 연산 복잡도와 비효율적인 I/O 비용을 동시에 해결하고자 한다. 기존 연구는 크게 두 갈래로 나뉜다. 하나는 하한 함수(Lower Bounding Functions)인 LB_Yi, LB_Kim, LB_Keogh, LBS 등을 이용해 DTW 계산을 사전에 prune하는 방법이며, 다른 하나는 GEMINI 프레임워크와 FTW 인덱스와 같이 다차원 트리나 파일 기반 인덱스를 구축해 검색 범위를 제한하는 방법이다. 그러나 하한 함수만으로는 여전히 대부분의 시계열을 검증해야 하고, 기존 인덱스는 데이터베이스가 커질수록 인덱스 자체가 커져 메모리 적재가 어려워 랜덤 접근이 급증한다는 한계가 있다. 이에 저자들은 “TWIST”(Time Warping in Indexed Sequential sTructure)라는 새로운 인덱스‑시퀀스 구조를 제안한다. TWIST는 데이터베이스를 여러 파일(또는 블록)로 나누고, 각 파일에 포함된 시계열들의 최소·최대값을 이용해 envelope(상한·하한 곡선)를 만든다. 이 envelope는 단일 시계열 형태로 압축되어 메모리 내 인덱스에 저장된다. 질의 시계열 Q가 들어오면, 각 envelope E와 Q 사이의 그룹 하한 거리 LBG를 계산한다. LBG는 LB_Keogh와 유사하게 삼각형 면적을 이용하지만, 그룹 전체에 적용되도록 설계돼 “E에 포함된 모든 시계열 C에 대해 DTW(Q, C) ≥ LBG(E, Q)”라는 보장을 제공한다. 계산된 LBG 값들은 오름차순으로 정렬되어 파일 접근 순서를 결정한다. LBG가 현재까지 발견된 최적 거리(best‑so‑far)보다 크면 해당 파일 전체를 스킵하고, 작으면 파일을 순차적으로 읽어 각 시계열에 대해 LB_Keogh를 적용한 뒤, 필요시 실제 DTW를 수행한다. 이렇게 하면 불필요한 순차·랜덤 접근을 최소화하면서도, DTW의 정확성을 유지한다. 구현 세부 사항으로는 (1) envelope 생성 시 Sakoe‑Chiba, Itakura, R‑K 등 다양한 글로벌 제약을 지원해 유연성을 확보하고, (2) LBG 계산을 O(1) 시간에 수행하도록 수식화했으며, (3) 인덱스 구조를 파일‑레벨 메타데이터와 함께 R*-tree 대신 단순 배열 형태로 구현해 메모리 사용량을 크게 절감했다. 실험은 합성 데이터와 UCR 시계열 저장소(다양한 길이와 클래스)를 사용해 수행되었다. 데이터베이스 규모를 10⁴, 10⁶, 10⁸ 시계열까지 확장했을 때, TWIST의 평균 조회 시간은 각각 약 0.02 s, 1.8 s, 150 s로 선형 증가했으며, 동일 조건의 FTW 인덱스는 10⁶ 규모에서 200 s, 10⁸ 규모에서는 2 400 s 이상 소요되었다. 페이지 접근 수 역시 TWIST가 FTW 대비 5~20배 적었고, 디스크 저장 공간은 인덱스 자체가 원본 데이터의 5~10% 수준에 머물렀다. 또한, 정확도 측면에서 false dismissal(정답 누락) 없이 모든 최적 결과를 반환함을 확인했다. 결론적으로 TWIST는 (1) 그룹 기반 하한 함수 LBG를 통해 DTW 계산을 효과적으로 prune, (2) 파일‑레벨 인덱스로 메모리와 디스크 I/O를 균형 있게 관리, (3) 질의 시점에 접근 순서를 사전 결정해 조기 종료 가능성을 높인다. 이러한 설계는 대규모 시계열 데이터베이스에서 실시간 혹은 근실시간 검색을 가능하게 하며, 향후 다변량 시계열, 스트리밍 환경, GPU 가속 DTW와의 통합을 통한 확장 가능성을 제시한다.