멀티모달 협업 토론으로 제로샷 시계열 추론을 혁신한다

초록

TS‑Debate는 텍스트, 시각, 수치 전용 전문가 에이전트를 구성하고, 사전 도메인 지식 이끌어내기와 검증‑충돌‑보정 프로토콜을 통해 제로샷 시계열 질문에 대한 정확하고 일관된 답변을 제공한다.

상세 분석

TS‑Debate는 기존 LLM 기반 시계열 추론이 겪는 “모달리티 간 간섭”과 “수치 허위 생성” 문제를 구조적으로 해결한다. 첫 단계에서 질의 q와 보조 컨텍스트 c를 입력받아 도메인 프라임 k를 자동 이끌어내며, 이는 모든 하위 에이전트가 공유하는 분석 계약서 역할을 한다. 이후 원시 시계열 x₁:T를 시간‑도메인, 주파수‑도메인, 통계‑특징 등 세 가지 뷰로 변환하고, 각각을 전용 인터페이스(텍스트 설명, 차트 이미지, 정밀 수치 배열)로 제공한다.

각 모달리티 전용 에이전트(텍스트 분석가, 시각 분석가, 수치 분석가)는 자신이 볼 수 있는 입력에 대해 “관찰 → 추론 → 제한” 형태의 구조화된 진술을 생성한다. 이때 에이전트는 사전 이끌어낸 도메인 지식 k를 활용해, 예를 들어 “주가 상승은 신제품 출시와 연관될 가능성이 높다”와 같은 도메인 제약을 명시한다.

핵심은 검증‑충돌‑보정(VCC) 프로토콜이다. 별도의 리뷰어 에이전트가 코드 실행기와 수치 조회 도구를 사용해 각 진술의 정량적 부분을 자동 검증한다. 예를 들어 “Q3 이후 평균이 5% 상승했다”는 주장에 대해 실제 평균값을 계산하고, 차이 발생 시 오류 점수를 부여한다. 동시에 서로 다른 모달리티 간에 상충되는 결론(예: 시각 분석가는 상승 추세를, 수치 분석가는 정체를 주장) 을 감지하고, 충돌 점수를 산출한다. 마지막 합성기(synthesizer)는 리뷰어들의 신뢰도와 충돌 점수를 종합해 보정된 최종 답변을 생성한다.

실험에서는 MTBench, TimerBed, TSQA 등 3개 공개 벤치마크의 20개 태스크에 대해 기존 멀티모달 토론(MAD) 및 단일모달 LLM 대비 평균 7~22%의 정확도 향상을 기록했다. 특히 수치 정확도가 중요한 이상 탐지·예측 과제에서 오류율이 30% 이상 감소했으며, 시각‑수치 간 불일치를 효과적으로 해소했다.

TS‑Debate는 파인튜닝 없이 오프‑더‑쉘 LLM·MLLM을 그대로 활용한다는 점에서 구현 비용이 낮고, 검증 로직을 플러그인 형태로 교체하면 다양한 도메인(금융, 기후, 제조)에도 손쉽게 적용 가능하다. 또한 VCC 프로토콜은 기존 토론 프레임워크가 “설득”에 머무는 한계를 넘어 “검증 기반 합의”를 구현함으로써, LLM 기반 의사결정 시스템의 신뢰성을 크게 높인다.