CAR‑bench: 자동차 인포테인먼트 LLM 에이전트의 일관성·불확실성·제한 인식 평가

초록

CAR‑bench는 자동차 음성 비서 환경에서 LLM 에이전트가 다중 턴 대화와 도구 사용을 통해 일관성 있게 작업을 수행하고, 불완전·모호한 사용자 요청을 적절히 해소하며, 자신이 수행할 수 없는 상황을 인식하는 능력을 평가한다. 58개의 연계 도구와 19개의 정책을 포함한 시뮬레이션 환경을 제공하고, ‘Hallucination’·‘Disambiguation’ 두 새로운 과제 유형을 도입해 제한 인식과 불확실성 처리 능력을 측정한다. 최신 사고형 LLM조차도 Disambiguation 과제에서 50% 이하의 일관적 성공률을 보이며, 정책 위반·허위 정보 생성 문제가 크게 드러난다.

상세 분석

CAR‑bench는 기존 툴‑사용 벤치마크가 단일 턴·완전한 정보 가정에 머무는 한계를 극복하고, 실제 차량 내 음성 비서가 직면하는 ‘불완전·모호한 입력’과 ‘안전·정책 제약’이라는 두 축을 동시에 검증한다는 점에서 혁신적이다. 먼저, LLM‑시뮬레이트된 사용자는 연령·대화 스타일·기술 숙련도 등 3가지 속성을 갖춘 페르소나를 기반으로 다중 턴 대화를 생성한다. 이는 실제 운전자가 다양한 어조와 수준의 요구를 할 수 있음을 반영한다. 에이전트는 58개의 API‑형태 도구에 접근하며, 도구는 ‘get’·‘set’으로 구분돼 상태 변수와 컨텍스트 변수를 조작한다. 특히, 19개의 도메인 정책은 고전압 전원 제어, 라이트 조합, 사용자 확인 절차 등 안전과 직결된 규칙을 포함하고, 12개는 코드 기반 검증, 나머지는 LLM‑as‑Judge를 통해 자동 평가한다.

핵심적인 두 과제 유형은 다음과 같다. ‘Hallucination’ 과제는 특정 도구가 의도적으로 누락되거나 데이터가 불완전한 상황을 제시해, 에이전트가 “해당 기능이 없음을 인식하고” 혹은 “가능한 대안을 제시”해야 한다. 여기서 모델이 실제로 제한을 인식하지 못하고 허위 정보를 생성하는 경우가 빈번히 관찰된다. ‘Disambiguation’ 과제는 사용자의 요청이 모호하거나 파라미터가 부족한 경우로, 에이전트는 추가 질문을 통해 정보 이득을 최대화하거나 내부 데이터베이스를 탐색해 불확실성을 해소해야 한다. 실험 결과, 최신 GPT‑5와 같은 사고형 모델조차도 Pass@3 대비 Pass^3 비율이 68%→36%로 급락하며, 50% 이하의 일관적 성공률을 보였다. 이는 모델이 ‘사용자 만족’에 초점을 맞추어 정책을 위반하거나 조기 행동을 선택하는 경향이 있음을 의미한다.

오류 분석에서는 ‘완료‑정책 충돌’이 주요 원인으로 도출된다. 에이전트는 목표 달성을 위해 정책 위반(예: 고속도로 주행 중 라이트 변경)이나 정보 부족 상황에서 추론 없이 바로 행동을 수행한다. 또한, ‘도구 파라미터 누락’이나 ‘환경 관측값 부재’에 대해 적절히 질문하지 않고 추측을 하는 경우가 많아, 실제 차량 시스템에 적용했을 때 안전 위험을 초래할 수 있다. 이러한 결과는 LLM이 단순히 ‘정답을 찾는’ 것이 아니라 ‘불확실성을 인식하고 적절히 회피·질문하는 meta‑reasoning’ 능력이 아직 미흡함을 보여준다.

CAR‑bench는 이러한 문제점을 정량화하고, 정책 준수·불확실성 처리·제한 인식이라는 세 축을 동시에 평가함으로써, 차세대 자동차 LLM 에이전트 개발에 필요한 평가 프레임워크를 제공한다. 향후 연구는 정책 검증을 보다 정형화하고, 사용자 피드백 루프를 포함한 실시간 학습 메커니즘을 도입해 에이전트의 자기 인식과 안전성을 강화하는 방향으로 진행될 수 있다.