시간 시계열 이해를 위한 정렬·분리형 다중모달 학습

초록

본 논문은 시계열 데이터와 그 시각화 플롯을 동시에 활용하는 다중모달 대형 언어 모델(MLLM)인 MADI를 제안한다. MADI는 (1) 패치‑레벨 정렬을 통해 수치와 이미지 간의 미세한 시간적 일치를 강제하고, (2) 계층적 벡터 양자화를 이용한 이산형 분리 상호작용으로 공유와 모달리티‑특이 정보를 명확히 구분·통합하며, (3) 질의와 관련된 핵심 토큰을 강조하는 Critical‑token Highlighting 모듈을 도입한다. 합성·실제 데이터베이스에서의 실험 결과, MADI는 기존 일반 LLM 및 시계열 전용 MLLM보다 일관된 성능 향상을 보이며, 정밀한 수치 추론과 고수준 시각적 패턴 이해를 동시에 달성한다.

상세 분석

MADI는 시계열 이해·추론(TSUR)이라는 새로운 과제 설정에 맞춰 설계된 다중모달 LLM이다. 기존 연구는 수치‑중심 혹은 시각‑중심 접근을 각각 취했지만, 두 모달리티 간의 정밀한 정렬과 의미적 분리 없이 단순 연결에 머물렀다. 본 논문은 이러한 한계를 세 가지 기술적 축으로 극복한다. 첫째, Patch‑level Alignment(PA)에서는 시계열을 일정 길이(pₙ)로 패치화하고, 동일한 패치 수를 갖는 라인 플롯 이미지를 생성해 시각적 패치와 1:1 매핑한다. 이후 각 패치를 수치, 시각, 텍스트(패치‑단위 캡션) 임베딩으로 변환하고, NCE 기반의 대조 학습으로 물리적 일치를 강제한다. 이 과정은 기존의 시계열‑시각 대조가 전체 시계열 수준에서만 이루어지던 문제를 미세 시간축에서 해결한다는 점에서 혁신적이다. 둘째, Discrete Disentangled Interaction(DDI)에서는 계층적 벡터 양자화(RVQ)를 활용해 공유 의미를 압축된 이산 코드북에 매핑한다. 이렇게 얻어진 공유 코드와 각 모달리티별 고유 토큰을 교차‑어텐션으로 결합함으로써, 중복된 정보가 상호작용을 방해하지 않도록 설계했다. 특히, 양자화된 공유 표현은 정규화와 커밋 손실을 통해 학습 안정성을 확보하고, 다중 스케일 정보를 효율적으로 포착한다. 셋째, Critical‑token Highlighting(CTH) 모듈은 질의와 직접 연관된 토큰을 자동 탐지해 시퀀스 앞에 삽입함으로써, LLM이 핵심 정보를 빠르게 접근하도록 돕는다. 이는 질의‑응답 형태의 TSUR에서 흔히 발생하는 ‘핵심 정보 누락’ 문제를 완화한다. 실험에서는 합성 데이터(노이즈·주기 변동 포함)와 실제 금융·헬스케어·산업 데이터셋을 사용해, 기존 수치‑전용 LLM, 시각‑전용 MLLM, 그리고 하이브리드 모델(GEM 등) 대비 평균 4~7%의 정확도·BLEU·ROUGE 향상을 기록했다. 특히, 정밀한 값 추론(예: 특정 시점의 온도값)과 고수준 패턴 설명(예: 트렌드·계절성) 모두에서 균형 잡힌 성능을 보였다. 한계점으로는 패치 크기와 양자화 코드북 크기에 대한 민감도가 존재하며, 대규모 실시간 스트리밍 시나리오에서는 패치 전처리 비용이 증가할 수 있다. 또한, 현재는 라인 플롯만을 시각화 대상으로 삼아, 이미지 기반 시계열(예: 스펙트로그램)에는 직접 적용이 어려울 수 있다. 전반적으로 MADI는 “정렬 → 분리 → 강조”라는 삼위일체 접근을 통해 다중모달 시계열 이해에 새로운 패러다임을 제시한다.