실시간 에이전트 플랜 이상 탐지를 위한 경량 시퀀스 모델 트래젝터리 가드

초록

본 논문은 자동화된 대형 언어 모델(LLM) 에이전트가 생성하는 다단계 행동 계획의 오류를 실시간으로 탐지하기 위해, 시퀀스 구조를 보존하면서도 경량화된 Siamese Recurrent Autoencoder인 “Trajectory Guard”를 제안한다. 대비 학습과 재구성 손실을 결합한 하이브리드 손실 함수로 “작업‑플랜 불일치”와 “플랜 구조 손상” 두 종류의 이상을 동시에 학습한다. 합성 교란 및 실제 보안 감사(RAS‑Eval), 다중 에이전트 시스템(Who&When) 벤치마크에서 F1 0.88‑0.94, 리콜 0.86‑0.92를 달성했으며, 추론 지연 32 ms로 기존 LLM Judge 대비 17‑27배 빠른 실시간 검증이 가능함을 보인다.

상세 분석

Trajectory Guard는 기존 이상 탐지 접근법이 갖는 두 가지 근본적인 한계를 극복한다. 첫째, 평균 풀링 기반 임베딩은 플랜 내 일부 단계만 비정상적일 경우 전체 벡터를 희석시켜 이상을 감지하기 어렵게 만든다. 둘째, 순수 대비 학습은 플랜의 시간적 연속성을 무시하고, 개별 단계 간 유사도만을 최적화한다는 점에서 구조적 오류를 포착하지 못한다. 이를 해결하기 위해 저자는 Siamese 구조의 Recurrent Autoencoder(RNN 기반 인코더‑디코더)를 채택하고, 두 개의 병렬 경로에서 각각 대비 손실(contrastive loss)과 재구성 손실(reconstruction loss)을 계산한다. 대비 손실은 동일 작업(task) 내에서 정상 플랜과 비정상 플랜을 구분하도록 학습시키며, 이는 “잘못된 작업‑플랜 매핑”을 탐지한다. 재구성 손실은 시계열 데이터를 원본과 동일하게 복원하도록 강제함으로써, 플랜 내부의 논리적 일관성 및 단계 간 의존성을 유지한다. 두 손실을 가중합한 하이브리드 목표는 모델이 동시에 전역적인 작업‑플랜 정합성과 국부적인 단계 연속성을 학습하도록 만든다.

모델 아키텍처는 입력 토큰 시퀀스를 사전 학습된 LLM 임베딩(예: OpenAI Ada, LLaMA)으로 변환한 뒤, 양방향 LSTM을 사용해 시퀀스 정보를 압축한다. 인코더 출력은 128‑차원 잠재 벡터로 투사되고, Siamese 쌍을 이루는 두 플랜 사이의 코사인 거리와 마진 기반 대비 손실이 계산된다. 디코더는 동일 LSTM 구조를 역방향으로 적용해 원본 임베딩 시퀀스를 재생성한다. 재구성 오류는 평균 제곱 오차(MSE)로 측정한다. 하이퍼파라미터 λ를 통해 두 손실의 비중을 조절했으며, 실험에서는 λ = 0.6이 최적 성능을 보였다.

학습 데이터는 두 종류로 구성된다. 첫 번째는 합성 교란 데이터로, 정상 플랜에 단계 삽입, 삭제, 순서 뒤바꿈, 의미적 모순을 인위적으로 가미해 다양한 이상 유형을 생성한다. 두 번째는 실제 보안 감사(RAS‑Eval)와 다중 에이전트 협업(Who&When)에서 수집한 실패 플랜이다. 이들 데이터는 1:1 비율의 균형 잡힌 셋과, 실제 운영 환경을 모방한 불균형(양성 10 %) 셋으로 나뉘어 평가에 사용되었다.

성능 평가에서는 기존 unsupervised 방법(예: Isolation Forest, One‑Class SVM)과 최신 LLM 기반 Judge(프롬프트‑엔진)와 비교했다. 평균 F1 점수는 기존 방법이 0.58‑0.69에 머물렀던 반면, Trajectory Guard는 0.88‑0.94를 기록했다. 특히 불균형 테스트에서는 리콜 0.86‑0.92를 달성해 실제 서비스에서 놓치기 쉬운 이상을 효과적으로 포착했다. 추론 속도는 GPU(A100) 환경에서 32 ms(배치 1)로, LLM Judge가 0.9‑1.2 s를 소요하는 것에 비해 17‑27배 빠른 실시간 적용이 가능했다.

한계점으로는 사전 학습된 임베딩에 크게 의존한다는 점과, 매우 긴 플랜(>200 단계)에서는 RNN의 장기 의존성 문제가 발생할 수 있다는 점을 들었다. 향후 연구에서는 Transformer‑ 기반 인코더로 교체하거나, 메모리‑증강 기법을 도입해 확장성을 높일 계획이다.