공공부문 요구를 충족하지 못하는 에이전트 벤치마크

초록

본 논문은 대형 언어 모델 기반 에이전트(LLM 에이전트)를 공공기관에 도입할 때 필요한 법적·절차적·구조적 요구사항을 평가하기 위한 벤치마크 기준을 제시한다. 공공행정 문헌을 기반으로 “프로세스 기반”, “현실성”, “공공부문 특화”, “전용 메트릭” 네 가지 기준을 도출하고, 1,300여 개의 기존 벤치마크 논문을 자동·전문가 검증 파이프라인으로 분석한 결과, 현재까지 어느 벤치마크도 모든 기준을 만족하지 못함을 밝힌다. 연구는 향후 공공부문에 적합한 벤치마크 개발과 정책 입안자가 이를 활용하도록 촉구한다.

상세 분석

이 논문은 두 가지 핵심 질문(RQ1, RQ2)에 초점을 맞춘다. 첫 번째는 “공공부문에서 LLM 에이전트를 안전하게 채택하기 위해 벤치마크가 갖춰야 할 기준은 무엇인가?”이며, 두 번째는 “현존하는 LLM 에이전트 벤치마크가 그 기준을 얼마나 충족하는가?”이다. 이를 위해 저자들은 공공행정 이론(자동화 이론, 디지털 거버넌스, 인공 재량성 등)과 심리측정학적 벤치마크 설계 원칙을 교차 검토해 여섯 가지 구체적 기준을 도출한다.

1. Task‑Based Model(프로세스 기반): 벤치마크는 실제 업무 흐름을 구성하는 최소 단위 작업(task)을 명확히 정의하고, 작업 간 의존 관계를 반영해야 한다. 이는 공공기관의 모듈형 프로세스 설계와 일치한다.
2. Realistic Tasks(현실성): 데이터와 시나리오는 실제 문서, 시민 문의, 행정 절차 등에서 추출된 것이어야 하며, 과도한 단순화나 인공 생성 데이터에 의존해서는 안 된다.
3. Public‑Sector‑Specific Tasks(공공부문 특화): 평가 대상이 되는 작업은 공공기관 고유의 요구—예를 들어 법령 준수, 투명성 확보, 정치적 중립성 유지—와 직접 연결돼야 한다.
4. Top‑Level Performance Metrics(상위 성능 지표): 정확도·F1과 같은 전통적 지표 외에 비용(연산·토큰 비용)과 공정성(보호 특성 간 차별 여부) 등을 포함해야 한다.
5. Rigorous Statistical Methodology(통계적 엄밀성): 신뢰구간, 유의성 검정, 데이터 오염 검사 등을 수행해 결과의 재현성을 확보한다.
6. Construct Validity(구성 타당성): 벤치마크가 측정하고자 하는 현상을 명확히 정의하고, 그 현상을 대표하는 작업과 메트릭을 선택했는지를 검증한다.

이후 저자들은 1,304개의 LLM 에이전트 벤치마크 논문을 수집하고, LLM‑지원 자동 추출 파이프라인을 구축해 각 논문에 대한 메타데이터와 작업·데이터·메트릭 정보를 추출한다. 추출된 결과는 분야 전문가 5명이 검증했으며, Cohen’s κ=0.82라는 높은 일치도를 보였다. 분석 결과, 공공부문 특화와 비용·공정성 메트릭을 제공하는 벤치마크가 가장 부족했으며, 전체 논문 중 0%가 모든 여섯 기준을 만족한다는 충격적인 사실이 드러났다.

이 논문의 주요 기여는 (1) 공공부문 요구를 정량화한 벤치마크 설계 기준을 체계화한 점, (2) 대규모 메타분석을 통해 현존 벤치마크의 격차를 실증적으로 입증한 점, (3) 향후 연구와 정책 입안자를 위한 구체적 로드맵을 제시한 점이다. 특히, 비용·공정성 메트릭을 포함한 다차원 평가 체계가 없다는 점은 공공기관이 LLM 에이전트를 도입할 때 발생할 수 있는 재정·사회적 위험을 과소평가하게 만들 위험성을 강조한다.

마지막으로 저자들은 두 가지 실천적 제안을 내놓는다. 첫째, 벤치마크 설계 단계에서 공공기관 전문가와 협업해 실제 프로세스와 데이터를 확보하고, 작업 간 의존성을 모델링해야 한다. 둘째, 평가 결과를 정책 결정에 직접 연결할 수 있도록 비용·공정성·투명성 지표를 표준화하고, 공개된 리포지터리에서 지속적으로 업데이트·재검증할 수 있는 인프라를 구축해야 한다. 이러한 방향이 실현될 경우, LLM 에이전트의 공공부문 적용이 보다 신뢰성 있고 책임감 있게 이루어질 수 있을 것으로 기대된다.