대형 언어 모델과 전용 모델의 협업 기반 시계열 이상 탐지

초록

CoLLaTe는 전문가 문서를 읽는 LLM과 정상 패턴을 학습하는 소형 시계열 이상 탐지 모델(TSADM)을 연계한다. 점수 해석 차이와 오류 누적이라는 두 핵심 문제를 정렬 모듈과 협업 손실 함수로 해결해, 기존 LLM·TSADM보다 높은 검출 성능을 보인다.

상세 분석

본 논문은 시계열 이상 탐지 분야에서 LLM과 전용 소형 모델(TSADM)의 상보적 장점을 결합하는 새로운 프레임워크인 CoLLaTe를 제안한다. 기존 연구는 LLM이 전문 문서를 통해 도메인 지식을 획득하지만 시계열의 미세한 값 변동에 민감하지 못하고, 반면 TSADM은 데이터 기반 패턴 학습에 강하지만 전문가 지식 반영이 어려운 한계를 지닌다. 저자들은 인간의 신경계 구조를 비유로 삼아, ‘뇌’에 해당하는 LLM이 전반적인 규칙과 배경 지식을 제공하고, ‘말초 신경·척수’에 해당하는 TSADM이 실시간 데이터 변동을 감지하도록 설계하였다.

협업 과정에서 두 가지 주요 도전 과제가 제시된다. 첫째, LLM과 TSADM이 출력하는 이상 점수의 해석 도메인이 서로 다르다. 예를 들어 LLM은 0~1 범위에 정규화된 점수를 내놓는 반면, TSADM은 재구성 오차 기반으로 훨씬 넓은 범위와 다른 분포를 가진다. 이로 인해 동일 점수가 서로 다른 이상 정도를 의미하게 된다. 둘째, 두 모델의 예측 오류가 단순 평균이나 MSE와 같은 전통적 손실 함수 사용 시 상쇄되지 않고 누적되어 최종 성능을 저하시킨다.

이를 해결하기 위해 저자들은 두 핵심 모듈을 설계한다. 정렬 모듈은 LLM 점수의 확률 밀도 f(S)를 파라미터화하고, TSADM 점수 s에 대한 매핑 함수 M(s)를 학습한다. 구체적으로 점수 범위를 N개의 빈으로 나누고, 교차 엔트로피와 평균·분산 정규화 항을 포함한 손실 Lₐ를 최소화함으로써 M(s)의 출력 분포가 f(S)와 일치하도록 한다. 수학적 증명을 통해 N→∞일 때 비미분적 카운팅 과정을 연속형 로그우도 형태로 변환해 역전파가 가능하도록 했다.

두 번째 협업 손실 함수는 조건부 네트워크(ConditionalNet)를 도입한다. 이 네트워크는 정렬된 TSADM 점수 M(s), 원본 LLM 점수 S, 그리고 TSADM이 추출한 데이터 표현 R을 입력으로 받아 최종 이상 점수 Ŝ를 출력한다. 손실 설계는 점수의 **점내 거리(D_intra)**와 **점간 거리(D_inter)**를 활용한다. 점내 거리는 같은 패치 내 시간 슬롯 간 유사성을, 점간 거리는 서로 다른 패치 간 차이를 측정한다. 점내·점간 거리의 비율에 따라 LLM이 잘 탐지하는 ‘점 이상’과 TSADM이 잘 탐지하는 ‘맥락 이상’을 각각 강조하도록 가중치를 부여한다. 기존 MSE 기반 손실이 오류를 가중합 형태로 누적시키는 반면, 제안 손실은 두 모델의 오류가 서로 보완되도록 설계되었으며, 이를 뒷받침하는 정리와 증명이 부록에 제공된다.

실험은 항공기 모니터링 데이터 두 개와 공개 시계열 벤치마크(예: Mustang)에서 수행되었다. 결과표(I)에서 TSADM은 맥락 이상에, LLM은 점 이상에 각각 높은 F1 점수를 보이며, CoLLaTe는 두 모델을 결합한 후 전반적인 F1이 0.93 이상으로 가장 우수했다. 또한 정렬 모듈 없이 단순 평균을 적용했을 때 점수 해석 불일치로 인한 성능 저하가 확인되었으며, 협업 손실 없이 MSE만 사용했을 때 오류 누적 현상이 실험적으로 재현되었다.

논문의 강점은 (1) LLM과 TSADM 간의 점수 해석 차이를 정량적으로 모델링하고, (2) 오류 누적을 이론적으로 분석해 새로운 손실 함수를 제시한 점이다. 특히 인간 신경계 비유를 통해 직관적인 설계 동기를 제공하고, 수학적 정형화와 실증을 동시에 수행한 점이 돋보인다. 다만 몇 가지 한계도 존재한다. 정렬 모듈은 사전 정의된 빈 수(N)와 하이퍼파라미터 λ₁, λ₂에 민감할 수 있으며, 데이터 규모가 작을 경우 매핑 함수 학습이 불안정해질 가능성이 있다. 또한 LLM에 사용된 프롬프트와 전문 문서의 품질이 최종 성능에 큰 영향을 미치므로, 실제 산업 현장에서의 적용을 위해서는 문서 관리와 프롬프트 엔지니어링이 추가적인 연구 과제로 남는다.

향후 연구 방향으로는 (a) 정렬 모듈을 보다 일반화된 분포 변환 기법(예: 정규화 흐름)으로 확장, (b) 다중 LLM·다중 TSADM을 계층적으로 연결해 복합 도메인에 적용, (c) 온라인 학습 시나리오에서 실시간 정렬 및 협업 손실 업데이트 메커니즘을 구축하는 것이 제안된다. 전체적으로 CoLLaTe는 LLM과 전용 모델의 협업을 체계화한 최초의 시계열 이상 탐지 프레임워크로, 도메인 지식과 데이터 기반 학습을 동시에 활용하고자 하는 다양한 분야에 실용적인 가치를 제공한다.