신뢰할 수 있는 LLM 에이전트를 위한 실행 경로 이상 탐지와 복구 프레임워크

초록

본 논문은 LLM 기반 에이전트의 실행 과정에서 발생하는 이상(오류, 비효율, 불필요한 지속)을 실시간으로 감지하고 정확히 위치를 파악하는 Trajectory Anomaly Detection(TAD) 문제를 정의한다. 이를 위해 정상·비정상 궤적을 균형 있게 포함한 TrajBench 데이터셋을 ‘Perturb‑and‑Complete’ 방식으로 구축하고, 전역 컨텍스트를 활용해 단계별 오류를 예측하는 전용 검증기 TrajAD를 제안한다. 실험 결과, 일반 LLM은 제로샷으로는 이상을 거의 탐지하지 못하지만, TrajAD는 검출·위치 지정 모두에서 현저히 우수한 성능을 보인다.

상세 분석

TrajAD 논문은 LLM 에이전트의 신뢰성을 확보하기 위해 “실행 경로”라는 새로운 평가 차원을 제시한다는 점에서 의미가 크다. 기존 연구는 주로 입력‑출력 수준의 정적 검증이나 사전 학습된 능력 강화에 초점을 맞추었지만, 실제 에이전트는 생각‑행동‑관찰이라는 삼중 구조의 연속적인 상호작용을 수행한다. 이 과정에서 발생하는 논리적 오류(Reasoning Error), 도구 파라미터 오류(Execution Error), 불필요한 루프나 중복 행동 등은 최종 결과가 정상이라 하더라도 시스템 자원을 낭비하고, 심지어 데이터베이스 손상과 같은 위험을 초래한다.

논문은 이러한 문제를 “Trajectory Anomaly Detection”이라는 형식화된 과제로 정의하고, 세 가지 핵심 이상 유형을 체계화한다. 첫 번째는 Task Failure(논리적 오류·실행 오류), 두 번째는 Process Inefficiency(불필요한 단계·루프), 세 번째는 Unwarranted Continuation(불가능하거나 이미 완료된 작업에 대한 지속)이다. 이 분류는 에이전트가 수행하는 다양한 도메인(추론, 수학, 코딩, 웹 탐색, 임베디드 AI)에서 공통적으로 나타나는 실패 모드를 포괄한다.

데이터 구축 측면에서 저자들은 AgentBank을 시드로 사용하고, “Perturb‑and‑Complete” 파이프라인을 설계했다. 먼저 정상 궤적에서 임의의 단계에 의도적으로 오류를 삽입하고, 이후 강력한 언어 모델을 이용해 남은 단계들을 일관되게 완성한다. 이 과정에서 오류 위치와 종류를 자동으로 라벨링함으로써 대규모의 정밀 주석이 달린 비정상 샘플을 저비용으로 생성한다. 결과적으로 60,000개 이상의 궤적(정상·비정상 1:1 비율)과 13개의 태스크를 포함한 풍부한 데이터셋 TrajBench이 완성되었다.

모델 설계에서는 전역 컨텍스트를 인코딩하는 Transformer 기반 검증기인 TrajAD를 제안한다. 입력으로 전체 트라젝터리를 받아, 이진 정상/비정상 판단과 함께 최초 오류 단계 인덱스를 동시에 예측한다. 학습은 교차 엔트로피 손실과 단계 위치 손실을 결합한 다중 목표 손실 함수를 사용한다. 실험에서는 GPT‑4, Claude, LLaMA‑2 등 다양한 사전 학습 모델을 제로샷 프롬프트로 평가했지만, 대부분의 경우 이상 탐지 정확도가 55% 이하에 머물렀다. 반면, TrajAD는 동일 데이터셋에서 89% 이상의 정확도와 85% 이상의 위치 지정 정확도를 달성했다. 이는 전용 감독이 없으면 LLM이 “과정 중심”의 오류를 인식하기 어렵다는 중요한 교훈을 제공한다.

또한 논문은 롤백‑앤‑리트라이 메커니즘을 제시한다. 검증기가 오류를 탐지하면, 에이전트는 오류 직전 단계로 되돌아가 해당 단계부터 재시도함으로써 전체 작업을 재시작하는 비용을 크게 절감한다. 이는 특히 비용이 높은 외부 도구 호출이나 데이터베이스 업데이트와 같은 상황에서 실용적이다.

한계점으로는 현재 데이터가 합성 기반이므로 실제 사용자 환경에서 발생하는 복합적인 오류와 완전히 일치하지 않을 수 있다. 또한, 검증기의 연산 비용이 에이전트 실행 시간에 추가적인 오버헤드를 유발할 가능성이 있다. 향후 연구에서는 실제 로그 데이터를 활용한 도메인‑특화 검증기와 경량화된 실시간 모니터링 기법을 탐색할 필요가 있다.

전반적으로 이 논문은 LLM 에이전트의 “과정 신뢰성”을 정량화하고, 이를 향상시키기 위한 데이터·모델·시스템 설계 삼각형을 제시함으로써, 향후 안전하고 효율적인 자동화 시스템 구축에 중요한 초석을 제공한다.