사용자 선호에 맞춘 인간에이전트 상호작용 평가 프레임워크 PrefIx

초록

PrefIx는 LLM 기반 에이전트의 작업 정확도와 동시에 사용자 경험(UX)을 측정하도록 설계된 환경이다. 인터랙션을 구조화된 도구 호출로 추상화하는 IaaT 패러다임을 도입하고, 14가지 속성·31가지 설정으로 구성된 선호 프로파일을 기반으로 시뮬레이션 사용자를 생성한다. 자동화된 LLM‑as‑Judge 평가자는 7개 UX 차원을 리커트 점수와 정성적 근거로 판단한다. 실험 결과, 선호를 인식·조정한 에이전트가 평균 7.6% UX 향상과 18.5% 선호 정렬 개선을 보였다.

상세 분석

PrefIx 논문은 현재 LLM‑agent 벤치마크가 과도하게 ‘정답률’에만 초점을 맞추고, 실제 인간과의 대화에서 발생하는 미묘한 상호작용 품질을 무시한다는 문제점을 정확히 짚어낸다. 이를 해결하기 위해 저자들은 ‘Interaction‑as‑a‑Tool(IaaT)’이라는 새로운 패러다임을 제시한다. 기존의 시스템 도구 호출(tool call)과 달리, 확인, 설명, 진행 제어 등 사용자가 기대하는 인터랙션 행위를 동일한 구조화된 도구 호출 형태로 표현함으로써, 에이전트의 행동을 정량적으로 추적하고 비교할 수 있게 만든다.

IaaT는 크게 ‘Narrative tools’와 ‘Dialogue Control tools’ 두 종류로 나뉜다. Narrative tools는 투명성·감사성을 높이기 위해 중간 결과나 근거를 제공하고, Dialogue Control tools는 사용자의 확인을 요구하거나 오류 복구 전략을 선택하게 만든다. 이러한 도구들을 활용해 에이전트는 동일한 작업 목표를 달성하면서도 사용자 선호에 맞춰 확인 빈도, 응답 속도, 오류 처리 방식 등을 조절한다.

선호 프로파일 정의도 논문의 핵심이다. 저자들은 ‘투명성·감사성’, ‘상호작용 속도·흐름’, ‘전략·주도성’, ‘견고성·적응성’ 네 축을 기반으로 14가지 속성을 도출하고, 각 속성당 2~3개의 구체적 설정을 부여해 총 31가지 선호 시나리오를 만든다. 시뮬레이션 사용자(LM 기반)는 이러한 선호를 명시적으로 밝히지 않고, 대화 흐름과 발화 스타일을 통해 암묵적으로 표현한다. 이는 실제 사용자와 유사한 ‘암시적 선호 추론’ 상황을 재현한다는 점에서 의미가 크다.

평가 메커니즘은 다중 LLM‑as‑Judge 체계를 사용한다. 7개의 UX 차원(예: 만족도, 효율성, 인지 부하, 프러스트레이션 등)에 대해 각각 리커트 점수와 근거 텍스트, 그리고 해당 점수를 뒷받침하는 대화 턴을 출력하도록 설계했다. 내부 일관성(α=0.943)과 측정 신뢰도(ICC>0.79)가 높게 보고되었으며, 인간 평가자와의 상관관계(rho=0.52‑0.78)도 충분히 확보되었다.

실험에서는 기존 BFCL 기반 에이전트와 PrefIx 환경에서 훈련·조정된 ‘선호 인식 에이전트’를 비교했다. 결과는 선호 인식 에이전트가 평균 7.6%의 UX 점수 상승과 18.5%의 선호 정렬율 개선을 보였으며, 작업 정확도는 기존 수준을 유지했다. 이는 ‘무엇을 하는가’와 ‘어떻게 하는가’를 동시에 최적화할 수 있음을 입증한다.

한계점으로는 시뮬레이션 사용자의 LLM 기반 구현이 실제 인간 사용자와 완전히 일치하지 않을 가능성, 그리고 선호 설정이 사전에 정의된 31가지에 국한된다는 점을 들 수 있다. 향후 연구에서는 더 풍부한 선호 차원 확장과 실제 사용자와의 대규모 실험을 통해 일반화 가능성을 검증할 필요가 있다.

전반적으로 PrefIx는 인간‑에이전트 상호작용을 정량화·표준화하는 중요한 첫 걸음이며, LLM‑agent 연구가 ‘사용자 중심’으로 전환되는 데 핵심 인프라를 제공한다.