맞춤형 데이터 인사이트를 위한 LLM 기반 멀티에이전트 시스템 인사이트 에이전트

초록

인사이트 에이전트(IA)는 전자상거래 판매자를 위해 설계된 대화형 멀티에이전트 플랫폼으로, LLM을 활용해 판매자의 질의에 맞는 데이터 조회와 비즈니스 인사이트를 자동으로 제공한다. 계층형 매니저‑워커 구조와 경량 OOD 탐지·라우팅 모델을 결합해 90% 수준의 정확도와 P90 13.5초 이하의 지연 시간을 달성하였다.

상세 분석

본 논문은 전자상거래 판매자가 보유한 방대한 데이터와 다양한 내부 도구를 효율적으로 활용하지 못한다는 문제를 해결하고자, “계획‑실행”(plan‑and‑execute) 패러다임 위에 LLM 기반 멀티에이전트 시스템을 설계하였다. 시스템은 매니저 에이전트와 두 개의 워커 에이전트(데이터 프레젠터, 인사이트 생성기)로 구성된 계층형 구조를 갖는다. 매니저는 먼저 경량 오토인코더(AE) 기반 OOD 탐지를 수행해 질문이 서비스 범위 내인지 판단한다. 이 단계는 재구성 오차의 평균 + λ·표준편차 임계값을 이용해 높은 정밀도를 확보하며, 추론 시간은 0.009 초에 불과해 실시간 필터링이 가능하다. 이어서 BERT‑small(33 M 파라미터) 기반 라우터가 질문을 데이터 프레젠터와 인사이트 생성기로 분류한다. 라우팅 정확도 0.83, 평균 지연 0.31 초를 기록해 LLM 기반 라우팅(정확도 0.60, 지연 > 2 초)보다 현저히 우수하다.

워커 에이전트는 RAG( Retrieval‑Augmented Generation) 프레임워크를 활용한다. 데이터 프레젠터는 내부 API를 이용해 표형 데이터를 직접 조회하고, 질문을 세분화하여 API·함수 선택·페이로드 생성까지 자동화한다. 이는 텍스트‑투‑SQL 방식보다 구조화된 API 호출을 선호함으로써 구문 오류와 컬럼 오해를 크게 감소시킨다. 인사이트 생성기는 도메인‑특화 라우팅을 추가로 수행해, 성과·벤치마크·추천 등 다양한 분석 유형에 맞는 사전 정의된 프롬프트와 Few‑Shot 예시를 동적으로 주입한다. 두 워커는 초기 단계에서 병렬로 실행되며, 조기 종료 전략을 통해 전체 지연을 최소화한다.

실험에서는 301개의 질문(인‑도메인 178, 아웃‑도메인 123)을 수집해 OOD와 라우팅 모델을 학습했고, 100개의 베치마크 질문에 대해 인간 평가자를 활용해 정확도, 관련성, 완전성, 정밀성을 측정하였다. 결과는 질문‑레벨 정확도 89.5%, 평균 관련성 0.977, 정밀성 0.958, 완전성 0.993을 보였으며, P90 지연은 13.56 초로 보고된 목표 이하였다. 전체적으로 IA는 높은 정확도와 낮은 지연을 동시에 달성함으로써 판매자의 의사결정 속도를 크게 향상시킬 수 있음을 입증한다. 다만, OOD 탐지의 재현율이 낮아 일부 인‑도메인 질문이 필터링되지 않을 가능성, 그리고 API 의존도가 높아 내부 시스템 변경 시 재구성이 필요하다는 한계도 존재한다.