금융 문서 추출을 위한 다중 에이전트 LLM 아키텍처 벤치마크: 비용·정확도·스케일링 종합 비교

초록

본 연구는 SEC 제출 서류 10,000건을 대상으로 네 가지 다중 에이전트 오케스트레이션 패턴(순차 파이프라인, 병렬 팬아웃‑병합, 계층형 감독‑작업자, 자기반영 루프)을 다섯 개 LLM(GPT‑4o, Claude 3.5 Sonnet, Gemini 1.5 Pro, Llama 3 70B, Mixtral 8×22B)과 결합해 필드‑레벨 F1, 문서‑레벨 정확도, 지연시간, 비용, 토큰 효율성을 평가하였다. 자기반영 구조가 최고 정확도(F1 0.943)를 보였지만 비용이 2.3배 높았으며, 계층형 구조가 비용‑정확도 파레토 최적점(F1 0.921, 비용 1.4배)으로 실무에 가장 적합함을 확인했다. 또한 의미 캐시, 모델 라우팅, 적응형 재시도 전략을 조합한 하이브리드 설정이 정확도 향상의 89%를 비용 1.15배만으로 회복할 수 있음을 보여준다. 스케일링 실험에서는 1K~100K 일일 처리량에 따른 비선형 정확도 저하 구간을 밝혀, 용량 계획 시 고려해야 할 ‘무릎점’ 정보를 제공한다.

상세 분석

이 논문은 금융 규제 문서라는 고비용·고위험 도메인에 LLM 기반 정보 추출을 적용할 때, 시스템 설계 단계에서 반드시 마주하게 되는 ‘정확도 vs 비용 vs 확장성’ 삼각형을 실증적으로 해석한다. 네 가지 오케스트레이션 패턴은 각각 전통적인 파이프라인(Sequential), Map‑Reduce 스타일의 병렬(Parallel), 동적 작업 할당과 검증을 담당하는 감독‑작업자(Hierarchical), 그리고 자체 검증·수정 루프를 갖는 자기반영(Reflexive) 구조로 정의된다.

1. 정확도 측면: 자기반영 구조는 검증 에이전트가 도출된 값의 일관성(예: 재무 항목 간 회계 등식)과 원문 근거를 반복적으로 체크함으로써 오류 전파를 차단한다. 특히 복합 표와 교차 참조가 많은 10‑K·10‑Q에서 F1 0.943, 문서‑레벨 정확도 0.758을 달성했으며, 이는 다른 구조 대비 2~3%p 상승이다. 그러나 검증·수정 사이클이 최대 3번까지 반복되면서 토큰 사용량이 급증하고, API 호출 비용이 2.3배로 늘어났다.

2. 비용·토큰 효율성: 비용은 주로 모델 호출당 토큰당 가격과 호출 횟수에 비례한다. 가장 저렴한 Mixtral 8×22B는 비용 $0.031(Sequential)에서 $0.072(Reflexive)까지 차이였으며, 토큰 효율성(유용 정보 대비 총 토큰 비율)은 병렬 구조가 가장 높았다. 이는 각 에이전트가 필요한 문서 섹션만을 받아 처리하기 때문에 불필요한 컨텍스트 전파가 최소화된 결과이다.

3. 레이터시와 확장성: 레이턴시는 구조적 복잡도와 직접 연관된다. 순차 파이프라인은 선형 증가(O(n))로 평균 34 초, 병렬은 가장 빠른 12 초(p95)까지 단축되었다. 계층형은 감독의 의사결정 지연으로 41 초 수준이었으며, 자기반영은 최악의 74 초를 기록했다. 스케일링 실험(1K~100K 일/일)에서는 병렬과 계층형이 처리량 증가에 따라 선형적인 비용·레이터시 상승을 보였지만, 자기반영은 ‘무릎점’(약 30K 일/일) 이후 정확도가 급격히 하락하고 비용이 폭증하는 비선형 구간을 나타냈다. 이는 검증 루프가 복잡한 문서에 과도하게 반복되는 현상이다.

4. 하이브리드 최적화: 의미 캐시(동일 섹션 재사용), 모델 라우팅(복잡 필드에 고성능 모델, 단순 필드에 저비용 모델), 적응형 재시도(낮은 신뢰도 필드만 재추출) 세 가지 기법을 조합한 실험에서는 정확도 0.936(F1) 수준을 유지하면서 비용을 $0.142 수준으로 낮출 수 있었다. 이는 ‘베스트‑오브‑두‑월드’ 구성을 제시하며, 실제 금융 기관이 비용 제한 하에 높은 정확도를 달성할 수 있는 실용적 로드맵을 제공한다.

5. 실무적 시사점: 규제 보고서의 정확도 기준(예: 95% 이상 필드 정확도)과 비용 한도(예: $0.15/문서)를 동시에 만족하려면, 계층형 구조에 하이브리드 라우팅을 적용하는 것이 최적이다. 또한, 시스템 설계 시 ‘검증 무릎점’을 사전에 파악해 자동 스케일링 정책을 설정하고, 고비용 검증 루프는 선택적(예: 고위험 기업)으로 제한하는 것이 바람직하다.

전반적으로 이 논문은 다중 에이전트 LLM 시스템이 단순히 모델 성능에 의존하는 것이 아니라, 오케스트레이션 설계와 비용 관리 전략이 성공적인 금융 문서 자동화의 핵심임을 실증적으로 입증한다.