일상 업무를 위한 AI 에이전트 인스트럭션 팔로잉 벤치마크, AgentIF‑OneDay

초록

AgentIF‑OneDay는 일반 사용자가 자연어 명령과 AI 에이전트를 활용해 일상 업무를 완수할 수 있는지를 평가한다. 104개의 과제로 구성된 이 벤치마크는 “오픈 워크플로 실행”, “잠재 명령 추론”, “반복 정교화”의 세 가지 사용자 중심 카테고리와 파일‑기반 결과물을 요구한다. 인스턴스‑레벨 루브릭과 멀티모달 검증 파이프라인을 도입해 LLM‑기반 채점과 인간 판단의 일치율을 80 % 이상 확보했으며, 주요 AI 에이전트 4종을 테스트해 현재 상용 에이전트가 첫 번째 티어에 위치함을 확인했다.

상세 분석

AgentIF‑OneDay는 기존 인스트럭션‑팔로잉 및 에이전트 벤치마크가 갖는 두 가지 한계를 보완한다. 첫째, 평가가 “문제 난이도 상승”에만 초점을 맞추어 실제 사용자가 마주하는 다양한 업무 시나리오를 포괄하지 못한다는 점이다. 이를 해결하기 위해 논문은 일상·업무·학습이라는 광범위한 도메인을 아우르는 104개의 과제를 설계했으며, 각 과제는 텍스트, 이미지, PPT, HTML 등 멀티모달 파일을 포함한다. 둘째, 기존 벤치마크는 모델 자체의 능력을 측정하는 데 그쳤지만, AgentIF‑OneDay는 “에이전트 시스템 전체”를 평가 대상으로 삼는다. 즉, 프롬프트 엔지니어링, 도구 호출, 상태 유지, 멀티턴 대화 등 실제 서비스 환경에서 필수적인 요소들을 모두 포함한다.

세 가지 카테고리는 사용자의 의도와 상호작용 방식을 기준으로 구분된다. “오픈 워크플로 실행”은 사용자가 상세한 절차(①~⑤)를 제공하고, 에이전트가 순서대로 정확히 수행해야 한다. 여기서는 긴 컨텍스트 처리와 “instruction forgetting” 방지를 핵심 평가 요소로 삼는다. “잠재 명령 추론”은 첨부 파일에 내포된 암묵적 규칙을 파악하고 새로운 상황에 적용하는 능력을 시험한다. 예를 들어 iPhone 17 Pro Max 구매 과제에서는 PDF 표를 해석해 트레이드‑인 가치와 요금제를 계산해야 한다. “반복 정교화”는 기존 출력물을 수정·보완하는 과정을 통해 상태 일관성 및 인간‑기계 협업 능력을 측정한다. SVG 레이아웃과 Excel 제약 파일을 동시에 다루는 과제는 멀티모달 입력 파싱, 제약 만족 최적화, 그리고 결과물의 가독성 유지까지 요구한다.

평가 파이프라인은 인스턴스‑레벨 루브릭을 기반으로 한다. 각 루브릭 항목은 보너스와 페널티 점수로 구분되며, 최종 점수는 모든 과제에 대해 정규화된 평균값으로 산출한다. 자동 채점은 Gemini‑3‑Pro와 같은 최신 멀티모달 LLM을 “판사”로 활용하고, 시각적 파싱, 웹 검색, 코드 렌더링 등을 결합해 인간 평가와 80.1 % 이상의 일치율을 달성했다. 이는 LLM‑기반 채점이 인간 판단을 충분히 대체할 수 있음을 실증한다.

벤치마크 구축 방법론도 주목할 만하다. 저자들은 ChatGPT 에이전트를 활용해 고밀도 정보가 포함된 첨부 파일을 자동 생성하고, 인간이 만든 시드 과제와 결합해 논리적으로 일관된 워크플로를 합성했다. 이 과정은 파일‑중심 자동화 파이프라인을 제공하므로, 향후 새로운 도메인이나 과제 유형을 손쉽게 확장할 수 있다. 또한 멀티모달 비전‑언어 모델을 검증 단계에 도입함으로써, 이미지·표·코드 등 비텍스트 요소에 대한 정확한 평가가 가능해졌다.

실험 결과는 현재 상용 AI 에이전트가 “API 기반 에이전트”와 “ChatGPT‑RL 기반 에이전트” 모두에서 1위 티어에 위치함을 보여준다. 이는 최신 LLM API와 오픈소스 모델이 이미 에이전시 기능을 내재화했으며, 개발자들이 이를 활용해 고성능 에이전트 제품을 빠르게 출시할 수 있음을 의미한다. 그러나 개별 과제별 점수 분포를 보면, 복잡한 멀티모달 최적화나 잠재 명령 추론과 같은 고난이도 영역에서는 여전히 성능 격차가 존재한다. 이는 향후 연구가 집중해야 할 “상태 유지·멀티턴 협업·멀티모달 이해”의 핵심 과제로 해석될 수 있다.

요약하면, AgentIF‑OneDay는 일상 업무에서 AI 에이전트의 실용성을 정량화하는 최초의 대규모 벤치마크이며, 멀티모달 파일 처리, 워크플로 정확도, 암묵적 규칙 추론, 반복 정교화 능력을 포괄한다. 평가 설계와 자동화 파이프라인은 향후 벤치마크 확장성을 보장하고, LLM‑as‑judge 접근법은 인간 평가 비용을 크게 절감한다. 이 연구는 일반 사용자 관점에서 AI 에이전트의 실제 가치를 측정하는 기준을 제공함으로써, 차세대 에이전트 개발과 평가에 중요한 로드맵을 제시한다.