LLM 에이전트 사용성의 진짜 장벽은 에이전트 ROI

초록

본 논문은 LLM 에이전트의 실용성을 평가할 때 단순히 자동화 가능 여부가 아니라 ‘Agentic ROI(에이전트 투자수익률)’를 핵심 지표로 삼아야 한다고 주장한다. 정보 향상, 시간 절감, 비용을 종합한 Agentic ROI가 높을수록 사용성이 높으며, 현재 고 ROI가 가능한 코딩·연구 분야와 달리 일상 업무·전자상거래 등 대중 시장에서는 ROI가 낮아 채택이 저조하다. 이를 해소하기 위해 저자는 ‘스케일업 → 스케일다운’의 지그재그 개발 전략을 제시하고, 단계별 로드맵을 통해 비용 대비 가치를 최적화하는 방안을 제안한다.

상세 분석

이 논문은 LLM 에이전트의 사용성을 정량화하기 위해 Agentic ROI라는 새로운 메트릭을 도입한다. 수식 Agentic ROI = Information Gain × Time Savings / Cost는 세 가지 핵심 요소를 결합한다. Information Gain는 인간 기준(Q₀) 대비 에이전트가 제공하는 품질 향상을 의미하며, Qₐ₉ₑₙₜ < Q₀이면 0으로 처리한다. 이는 품질이 낮은 경우 시간 절감 효과가 있더라도 ROI가 부정적으로 평가되는 것을 방지한다. Time Savings는 인간이 작업을 수행하는 데 소요되는 시간(T₀)와 에이전트를 사용하면서 실제 소요되는 시간(Tₐ₉ₑₙₜ)의 차이로 정의되며, 프롬프트 작성, 결과 검증 등 모든 인터랙션 비용을 포함한다. Cost는 토큰 사용량, API 요금, 컴퓨팅 자원 등 금전적 비용을 정규화한 값이다.

실증 조사에서는 34명의 응답자를 대상으로 코딩, 연구, 사무, 전자상거래, 개인 비서 등 다섯 분야에서 정보 향상, 시간 절감, 사용성 점수를 수집했다. 각 항목을 0‑1 범위로 정규화한 뒤 ROI를 계산했으며, 사용성 점수와 ROI 사이에 r = 0.95라는 강한 양의 상관관계를 발견했다. 이는 ROI가 높을수록 사용자가 에이전트를 실제로 유용하게 인식한다는 것을 의미한다.

고 ROI 분야(코딩·연구)는 인간이 투입하는 기본 시간(T₀)이 크고, 작업 복잡도가 높아 부분 자동화만으로도 큰 가치 창출이 가능하다. 반면 사무·전자상거래·개인 비서와 같은 저 ROI 분야는 기존 UI/UX가 이미 최적화돼 있어 T₀가 작고, 에이전트와의 대화 과정에서 발생하는 프롬프트 작성 비용이 오히려 전체 시간을 증가시킨다. 따라서 단순히 모델 정확도를 높이는 것만으로는 사용성 향상이 제한적이며, 인터랙션 설계와 비용 구조의 근본적인 재고가 필요하다.

저자는 이러한 현상을 ‘스케일업 → 스케일다운’ 지그재그 개발 패턴으로 설명한다. 초기 단계에서는 모델 규모와 연산량을 늘려 정보 향상과 시간 절감을 극대화하고, 이후 비용 효율성을 위해 경량화 모델을 도입한다. OpenAI의 o1→o3→o4 시리즈가 이를 잘 보여준다. LLM 에이전트도 동일한 ROI 최적화 곡선을 따라야 하며, 각 단계에서 정보 향상·시간 절감·비용을 균형 있게 조정해야 한다.

마지막으로 논문은 Agentic ROI를 기반으로 한 로드맵을 제시한다. ① 고 ROI 도메인에서 스케일업을 통해 품질과 속도 확보, ② 저 ROI 도메인에서는 프롬프트 자동화, 멀티모달 인터페이스, 비용 절감 모델을 도입해 ROI를 끌어올리는 전략을 제안한다. 또한 사용자 맞춤형 Q₀와 T₀ 설정을 통해 개인화된 ROI 평가가 가능하도록 설계한다. 이러한 접근은 LLM 에이전트가 대중 시장에 진입하고 지속 가능한 비즈니스 모델을 구축하는 데 핵심적인 길잡이가 될 것이다.