LLM 에이전트 평가를 위한 ECDF 기반 군집 분석

초록

본 논문은 대형 언어 모델(LLM) 에이전트의 응답 품질을 기존의 정답 일치율이 아닌, 생성된 답변과 레퍼런스 간 코사인 유사도에 대한 경험적 누적분포함수(ECDF)로 평가한다. ECDF를 거리 기반으로 비교하고 k‑medoids 군집화를 적용해 온도, 페르소나, 질문 주제 등 다양한 설정이 응답 분포에 미치는 영향을 정량·정성적으로 분석한다. 실험 결과, 최종 정확도는 비슷해도 ECDF와 군집 분석을 통해 품질 차이를 명확히 구분할 수 있음을 보인다.

상세 분석

이 연구는 LLM 기반 에이전트의 평가 패러다임을 근본적으로 재고한다. 전통적인 평가 방식은 다수결 투표나 정확도와 같은 이산형 지표에 의존해, 개별 응답의 품질 분포를 무시한다는 한계가 있다. 저자들은 이러한 문제를 해결하기 위해, 각 응답을 레퍼런스 정답과의 코사인 유사도로 정량화하고, 전체 응답 집합에 대해 경험적 누적분포함수(ECDF)를 구축한다. ECDF는 0부터 1까지의 유사도 구간에 걸쳐 누적 비율을 나타내어, 응답 품질의 전반적인 형태—예를 들어, 고품질 응답이 다수인지, 혹은 중간 품질 응답이 집중되는지—를 시각적으로 드러낸다.

다음 단계에서는 ECDF 간의 거리를 정의한다. 저자는 L1 거리(절대값 차의 합)를 기본 거리 척도로 채택했으며, 필요에 따라 Wasserstein 거리와 같은 보다 정교한 측정도 고려할 수 있음을 언급한다. 이렇게 정의된 거리 행렬을 바탕으로 k‑medoids 알고리즘을 적용해 ECDF들을 군집화한다. k‑medoids는 중심 객체가 실제 데이터 포인트여야 한다는 제약을 통해, 각 군집을 대표하는 ‘전형적인’ ECDF를 명확히 식별한다. 이는 군집 해석을 용이하게 하며, 특정 설정(예: 높은 온도, 특정 페르소나)이 어떤 품질 분포를 유발하는지 직관적으로 파악할 수 있게 한다.

실험은 공개 QA 데이터셋을 활용해 수행되었다. 온도 파라미터를 0.2, 0.7, 1.0으로 변동하고, 페르소나를 ‘전문가’, ‘초보자’, ‘중립’으로 설정했으며, 질문 주제별(과학, 역사, 코드)로도 세분화했다. 결과는 흥미롭다. 동일한 최종 정확도(예: 78%)를 보인 두 설정이 있었지만, 하나는 ECDF가 좌측에 치우쳐 대부분 응답이 중간 이하 유사도를 보인 반면, 다른 하나는 우측에 긴 꼬리를 형성해 소수의 고품질 응답이 다수를 보완하는 형태였다. 군집 분석은 이러한 차이를 명확히 구분했으며, 특히 ‘전문가‑낮은 온도’ 설정이 ‘초보자‑높은 온도’ 설정과 다른 군집에 속함을 확인했다.

또한, 군집 내 변이 분석을 통해 특정 질문 주제가 응답 품질에 미치는 영향을 정량화했다. 예를 들어, 코드 관련 질문은 전반적으로 높은 유사도 구간에 집중되는 반면, 역사 질문은 분포가 넓게 퍼져 있었다. 이는 LLM이 도메인별 강점·약점을 드러내는 중요한 지표가 된다.

전반적으로 이 논문은 ECDF와 군집화를 결합함으로써, 단순 정확도 이상의 ‘품질 스펙트럼’을 제공한다. 이는 모델 튜닝, 프롬프트 설계, 그리고 실제 서비스 배포 시 위험 관리 등에 실질적인 인사이트를 제공한다는 점에서 큰 의의를 가진다.