비용 효율적인 LLM 에이전트를 위한 컨포멀 제약 정책 최적화

초록

본 논문은 비용과 정확도 사이의 트레이드오프가 다른 여러 LLM을 순차적으로 호출하는 에이전트 구조를 제안한다. 오케스트레이션 모델은 사용자가 지정한 신뢰도 수준을 만족하도록 컨포멀 예측 기반의 제약을 두고, 비용 최소화를 목표로 정책을 학습한다. 제안된 Conformal Constrained Policy Optimization(CCPO) 알고리즘은 제한된 정책 최적화와 오프‑policy 강화학습, 온라인 컨포멀 예측을 결합해 비용‑신뢰도 균형을 달성한다. 두 개의 멀티홉 QA 벤치마크에서 기존 비용‑인식 기법 대비 최대 30%의 비용 절감과 신뢰도 유지가 입증되었다.

상세 분석

이 연구는 최근 LLM의 급격한 비용 상승 문제를 해결하고자, 서로 다른 비용·성능 프로파일을 가진 모델들을 “에이전트 체인” 형태로 연결한다는 새로운 패러다임을 제시한다. 핵심 아이디어는 사용자가 사전에 정의한 신뢰도(예: 95% 정확도)라는 제약을 만족하면서, 전체 호출 비용을 최소화하는 정책을 학습하는 것이다. 이를 위해 저자들은 두 가지 주요 기술을 융합한다. 첫째, 컨포멀 예측(conformal prediction)을 이용해 각 단계에서 모델의 출력이 신뢰 구간 안에 들어오는지를 실시간으로 판단한다. 컨포멀 프레임워크는 최소 가정(교환 가능성)만을 요구하므로, 사전 학습된 LLM에 그대로 적용할 수 있다. 둘째, 제한된 정책 최적화(constrained policy optimization, CPO)와 오프‑policy 강화학습을 결합해 정책(score function)과 적응형 임계값(threshold)을 공동으로 학습한다. 정책은 현재 질문에 가장 비용 효율적인 모델을 선택하고, 임계값은 컨포멀 검증을 통과할 확률을 조절한다. 알고리즘은 온라인 컨포멀 업데이트를 통해 임계값을 동적으로 조정함으로써, 환경 변화(예: API 가격 변동)에도 견고하게 대응한다.
이론적으로 저자들은 제안된 CCPO가 (1) 기대 비용을 최소화하고, (2) 지정된 신뢰도 수준을 초과하지 않는 제약을 만족한다는 점을 증명한다. 실험에서는 두 개의 멀티홉 질문응답 데이터셋(MultiHopQA, HotpotQA)을 사용해, 비용‑신뢰도 곡선에서 기존 비용‑인식 베이스라인(예: 비용 가중치 RL, 라우팅 기반 방법)보다 평균 20~30% 비용을 절감하면서 정확도 손실을 거의 보이지 않았다. 특히, 저비용 모델(예: GPT‑3.5‑turbo)과 고비용 모델(예: GPT‑4)을 조합했을 때, 컨포멀 임계값을 적절히 낮추면 고비용 모델 호출을 최소화하면서도 95% 신뢰 구간을 유지할 수 있었다.
한계점으로는 현재 컨포멀 검증이 모델 출력의 확률 분포에 의존한다는 점이며, 이는 LLM이 제공하는 확률 정보가 부정확할 경우 보증이 약화될 수 있다. 또한, 정책 학습에 필요한 오프‑policy 데이터가 충분히 다양하지 않으면 탐색이 제한될 위험이 있다. 향후 연구에서는 더 정교한 불확실성 추정 방법(예: 베이지안 딥러닝)과 멀티모달 도구 연계까지 확장하는 방향이 기대된다.