RAFFLES: LLM 시스템 오류 자동 탐지 프레임워크

초록

RAFFLES는 오프라인 평가 파이프라인으로, 중앙 Judge와 다수의 특화 Evaluator가 반복적으로 상호작용하며 장기‑다중‑컴포넌트 LLM 시스템의 결정적(step‑level) 오류를 자동으로 찾아낸다. Who&When와 ReasonEval 벤치마크에서 기존 방법보다 크게 향상된 정확도를 기록했다.

상세 분석

본 논문은 장기‑다중‑에이전트 LLM 시스템에서 발생하는 복합적인 오류를 “결정적 결함”(Decisive Fault)이라는 엄격한 정의 아래 정량화하고, 이를 자동으로 탐지하기 위한 RAFFLES 프레임워크를 제안한다. 핵심 아이디어는 (1) Judge가 전체 로그와 현재 메모리(H)를 입력받아 후보 결함 단계와 그 근거를 3가지 기준(Fault Condition, Primacy, Decisiveness)별로 제시하고, (2) Evaluator가 각각의 기준에 대해 별도 LLM을 활용해 신뢰도 점수와 보완 설명을 반환한다는 점이다. 이때 Evaluator는 1~3번 기준 외에 로그 일관성을 검증하는 규칙 기반 Evaluator(4)를 추가해 후보 단계의 형식적 타당성을 확보한다.

반복적인 피드백 루프는 Judge가 Evaluator의 신뢰도 합(C)와 메모리(H)를 재검토하면서 후보를 수정하도록 설계돼 있다. 종료 조건은 (a) 누적 신뢰도가 사전 정의된 임계값(350)을 초과하거나, (b) 최대 반복 횟수(K)에 도달했을 때 가장 높은 신뢰도를 가진 후보를 최종 결함으로 선택한다. 이러한 구조는 기존 단일 패스 LLM‑as‑Judge 방식이 갖는 “한 번에 전체 궤적을 평가한다”는 한계를 극복하고, 단계별 오류를 세밀히 검증할 수 있게 한다.

기술적 강점으로는 문제 정의의 정밀성과 프레임워크의 모듈화를 들 수 있다. 논문은 단계‑레벨 오류, 사소 오류(Trivial Fault), 핵심 오류(Critical Fault), 그리고 최종적으로 결정적 오류(Decisive Fault)를 수학적으로 정의하고, 이를 최적화 문제로 공식화한다. 이 정의는 Who&When 데이터셋의 라벨링 가이드와 일치하도록 설계돼, 실제 인간 어노테이션과의 정합성을 높인다. 또한 Judge와 Evaluator 각각을 별도 프롬프트로 구현해, 새로운 도메인(예: 코드 실행, 툴 호출)으로 확장할 때 프롬프트만 교체하면 된다는 태스크‑아그노스틱 특성을 갖는다.

실험 결과는 두 가지 벤치마크에서 의미 있는 성능 향상을 보여준다. Who&When Hand‑Crafted 데이터셋에서 18.20%→27.59%(≈+9.4%p), Algorithmically‑Generated 데이터셋에서 38.10%→51.59%(+13.5%p)로 기존 최고 기록을 크게 앞섰다. ReasonEval에서는 Claude Sonnet 4 기반 베이스라인 대비 73.58%→84.91%(+11.3%p), 75.46%→83.78%(+8.3%p)로 수학적 추론 체인에서도 결정적 오류를 정확히 지목한다.

하지만 몇 가지 한계도 존재한다. 첫째, 신뢰도 점수의 절대적 해석이 모호하다. 0‑100 스케일을 사용하지만 LLM마다 출력 편차가 크므로, 임계값 350(=4 × 87.5) 같은 절대값은 모델‑특이적 튜닝이 필요하다. 둘째, 반복 횟수 K가 증가하면 비용이 급격히 상승한다. 논문은 K를 5~7 정도로 제한했지만, 실제 산업 현장에서 수천 단계 로그를 다룰 경우 연산량과 응답 지연이 문제가 될 수 있다. 셋째, 평가자(Evaluator) 간 상호 의존성이 충분히 고려되지 않았다. 현재는 각 Evaluator가 독립적으로 판단하고 점수를 합산하지만, 서로 충돌하거나 중복되는 근거가 있을 때 어떻게 조정할지에 대한 명시적 메커니즘이 부족하다.

향후 연구 방향으로는 (1) 신뢰도 정규화와 베이지안 통합을 도입해 모델 간 점수 스케일을 통일하고, (2) 동적 반복 제어를 통해 후보가 충분히 확신될 때 조기에 종료하도록 학습 기반 스톱핑 규칙을 설계하며, (3) 멀티‑모달 로그(예: 이미지, 코드 실행 트레이스)와 툴 호출 결과를 직접 입력으로 받아 평가에 활용함으로써 RAFFLES를 완전한 자동 디버깅 에이전트로 확장할 수 있다. 전반적으로 RAFFLES는 LLM 기반 에이전트 시스템의 오류 진단을 자동화하는 첫 번째 실용적인 프레임워크이며, 향후 복합 시스템 평가 표준으로 자리 잡을 잠재력이 크다.