다중 수준 대화형 AI 시스템 테스트

초록

본 논문은 대화형 AI 시스템을 서비스‑언어 컴포넌트 연동, 단일 에이전트, 다중 에이전트 세 단계로 구분하여 각각에 맞는 자동화 테스트 방법을 제안한다. 회색‑상자 기반 입력 생성, 메타변형 테스트, 계획·오케스트레이션 기반 시나리오 생성 등을 활용해 테스트 커버리지를 확대하고, 변이 테스트와 실제 결함 탐지를 통해 실효성을 검증한다.

상세 분석

이 논문은 현재 대화형 AI 테스트가 직면한 근본적인 난제를 세 가지 차원에서 체계적으로 풀어낸다. 첫 번째는 언어 컴포넌트와 백엔드 서비스 간의 인터페이스이다. 사용자의 자연어 입력이 어떤 API 호출로 변환되는지를 검증하려면, 입력 문장을 무작위로 생성하는 것이 아니라 “서비스 호출을 트리거”하는 목표 지향적 탐색이 필요하다. 저자는 이를 탐색 문제로 모델링하고, API 호출 로그(커버리지, 파라미터 다양성)를 피드백으로 활용하는 회색‑상자 전략을 제안한다. 특히 대규모 언어 모델(LLM)을 입력 생성기에 통합해 의미적으로 풍부하고 다양성 높은 문장을 자동으로 만들어 내는 점이 혁신적이다. 이는 기존 Botium‑ 기반 단순 스크립트와 달리, 문장 변형(동의어, 패러프레이즈)뿐 아니라 새로운 의도까지 탐색할 수 있게 한다.

두 번째 레벨인 에이전트 테스트에서는 명시적 요구사항이 부족한 상황을 메타변형 테스트로 보완한다. 메타변형 관계는 “입력 문장을 동의어로 바꾸면 응답 의미는 유지돼야 한다” 혹은 “대화 흐름에 무관한 문장을 삽입해도 상태 전이는 변하지 않아야 한다”와 같은 규칙을 정의한다. 이러한 관계를 자동으로 추출하거나 도메인 전문가가 정의하도록 지원함으로써, 테스트 오라클을 설계하는 비용을 크게 낮춘다. 또한 요구사항 명세에 대화 흐름을 연결하는 방법을 제시해, 기능적 요구와 대화적 기대를 동시에 검증한다.

세 번째 레벨인 다중 에이전트 시스템 테스트는 협업·조정 메커니즘을 검증한다. 여기서는 목표 지향적 AI 플래닝과 오케스트레이션을 결합해 복합 시나리오를 자동 생성한다. 플래너는 시스템 전체 목표(예: 예약, 결제, 알림)를 달성하기 위한 작업 흐름을 도출하고, 오케스트레이션 엔진은 테스트용 에이전트와 모킹 에이전트를 삽입해 오류 상황, 지연, 서비스 장애 등을 시뮬레이션한다. 이는 기존 연구가 개별 에이전트에 초점을 맞추던 것과 달리, 에이전트 간 메시지 순서와 타이밍까지 검증한다는 점에서 차별화된다.

실험 설계에서는 RASA와 Dialogflow 기반 에이전트, 공개된 변이 테스트 데이터셋, 그리고 자체 구축한 다중 에이전트 시나리오를 활용한다. 변이 테스트 점수, 대화·코드 커버리지, 실제 발견된 결함 수 등을 정량적 지표로 삼아, Botium·Charm 등 기존 도구와 비교한다. 결과는 제안된 회색‑상자 입력 생성이 API 호출 커버리지를 30 % 이상 향상시키고, 메타변형 기반 테스트가 기존 스크립트에 비해 2배 이상의 결함을 발견함을 보여준다. 다중 에이전트 플래닝·오케스트레이션은 복합 장애 상황을 재현하고, 실제 개발자가 우선적으로 수정하고자 하는 결함을 높은 비율로 도출한다.

전반적으로 논문은 대화형 AI 테스트를 “통합‑에이전트‑시스템” 3단계로 구조화하고, 각 단계에 맞는 자동화·피드백 기반 기법을 제시함으로써, 테스트 비용을 낮추고 커버리지를 확대한다는 실용적 목표를 달성한다. 특히 LLM을 활용한 입력 생성, 메타변형 오라클 설계, 플래닝 기반 시나리오 자동화는 향후 대규모 상용 대화형 AI 서비스에 적용 가능한 핵심 기술로 평가된다.