비용제한 최적 검색을 위한 CARROT 시스템

초록

CARROT는 대규모 언어 모델(LMM)과 외부 지식베이스를 결합한 RAG(Retrieval‑Augmented Generation) 환경에서, 제한된 토큰 예산 안에서 가장 효과적인 청크 조합과 순서를 찾기 위해 몬테카를로 트리 탐색(MCTS)과 학습 기반 구성 에이전트를 활용한 프레임워크이다. 청크 간 중복·상관관계, 비단조적 효용, 질의 유형별 최적화 요구를 동시에 고려해 기존 랭크 기반 방법 대비 평균 30% 이상의 성능 향상을 달성한다.

상세 분석

본 논문은 RAG 시스템이 직면한 세 가지 근본적인 문제—청크 간 상관관계 무시, 청크 효용의 비단조성, 질의 다양성에 대한 고정된 재랭킹 전략—를 통합적으로 해결하고자 한다. 첫 번째로, 청크를 독립적인 단위가 아니라 순서와 조합을 고려해야 한다는 점을 강조한다. 청크 간 중복은 토큰 비용을 낭비하고, 순서에 따라 LLM이 정보를 해석하는 방식이 크게 달라진다(‘lost in the middle’ 현상). 이를 해결하기 위해 저자는 MCTS 기반 탐색을 도입한다. MCTS는 각 노드가 현재까지 선택된 청크 시퀀스를 나타내며, UCB(Upper Confidence Bound) 공식을 통해 탐색‑활용 균형을 조절한다. 탐색 과정에서 후보 청크 조합을 병렬로 평가함으로써 계산 효율성을 확보하고, NP‑hard인 청크 조합 최적화 문제를 실용적인 시간 안에 근사 해결한다.

두 번째 핵심은 청크 효용이 비단조적이라는 사실이다. 기존 방법은 예산을 모두 소진하거나 고정된 k개를 선택하는 방식으로, 추가 청크가 오히려 노이즈를 유발해 답변 품질을 저하시킬 수 있음을 실험적으로 입증한다. CARROT는 예산을 단순 종료 조건으로 삼지 않고, 각 단계에서 현재 시퀀스의 전체 효용을 재랭커 모델에 입력해 평가한다. 효용이 감소하는 경우 탐색을 중단하거나 다른 경로로 전환함으로써 최적의 청크 조합을 찾는다.

세 번째로, 질의 도메인별 최적 구성(config)을 자동으로 예측하는 ‘구성 에이전트’를 제안한다. 이 에이전트는 대조 학습(contrastive learning)으로 질의 특징을 임베딩하고, 해당 임베딩에 가장 적합한 MCTS 파라미터(예: 탐색 깊이, 시뮬레이션 횟수)와 재랭커 모델을 선택한다. 결과적으로 동일한 시스템이 질문 유형에 따라 동적으로 전략을 바꾸어, 다양한 업무 시나리오에서 일관된 성능을 유지한다.

실험에서는 위성 지식 질의, 최신 뉴스 요약, 엔터프라이즈 문서 검색 등 4가지 도메인에서 기존 랭크 기반, 그래프 기반, 튜닝 기반 RAG 방법과 비교하였다. 토큰 비용 256~768 범위 내에서 평균 30% 이상의 정확도·F1 점수 향상을 기록했으며, MCTS 탐색에 소요되는 추가 연산량은 GPU 1개 기준 0.8배 정도에 불과했다. 또한, 공개된 GitHub 레포지토리를 통해 재현 가능성을 확보했다.

이러한 설계는 RAG 시스템이 단순히 ‘가장 유사한 청크’를 찾는 수준을 넘어, 청크 간 상호작용과 비용 제약을 동시에 최적화함으로써 LLM이 최신 정보를 정확히 활용하도록 만든다. 특히, 비단조적 효용을 명시적으로 모델링하고, 질의 특성에 맞는 탐색 구성을 자동화한 점은 향후 멀티모달·멀티스텝 에이전트와 결합될 때 큰 시너지를 기대하게 한다.