신뢰할 수 있는 벤치마크를 위한 오염 없는 다단계 LLM 함수 호출 평가 프레임워크

초록

FuncBenchGen은 도구 사용이 필요한 대형 언어 모델(LLM)의 성능을 정밀하게 측정하기 위해, 함수 의존성을 DAG 형태로 숨긴 합성 멀티스텝 작업을 자동 생성하는 프레임워크이다. 그래프 크기, 의존 깊이, 무관 함수(연결·비연결) 수 등을 자유롭게 조절해 난이도를 제어하고, 평가 시점에 생성하므로 사전 학습 데이터와의 오염을 완전히 차단한다. 실험 결과, 추론에 최적화된 모델이 일반 모델보다 우수하지만, 의존 깊이가 깊어질수록 성능이 급격히 떨어진다. 특히 타입이 맞는 무관 함수가 연결된 경우 오류율이 크게 증가한다. 모델이 이전 호출에서 얻은 변수 값을 재진술하도록 하는 간단한 보강 기법을 적용하면 GPT‑5의 성공률이 62.5%에서 81.3%로 크게 향상된다.

상세 분석

FuncBenchGen은 기존 도구‑증강 LLM 벤치마크가 가지고 있던 두 가지 근본적인 한계를 해결한다. 첫째, 기존 데이터셋은 공개된 API 설명이나 실제 코드 스니펫을 그대로 사용하기 때문에 사전 학습 단계에서 모델이 이미 해당 정보를 학습했을 가능성이 높다. 이는 “데이터 오염”이라 불리는 현상으로, 실제 배포 환경에서의 성능을 과대평가하게 만든다. FuncBenchGen은 함수 시그니처와 변수 타입만을 무작위로 생성하고, 실행 시점에 값을 할당하는 방식을 채택해 완전한 오염‑프리 환경을 만든다.

둘째, 기존 벤치마크는 함수 개수나 호출 길이 정도만 조절할 수 있었으며, 무관 함수가 실제 문제와 어떻게 얽혀 있는지에 대한 정교한 제어가 부족했다. FuncBenchGen은 DAG 기반의 그래프 생성 알고리즘을 통해 다음 네 가지 파라미터를 독립적으로 조정한다. (1) 핵심 함수 수(n_core) – 문제 해결에 반드시 필요한 노드 수, (2) 의존 깊이(d) – 가장 긴 경로의 길이, (3) 연결 무관 함수 수(n_conn) – 타입‑호환 변수를 공유하지만 실제 해결 경로와 연결된 무관 노드, (4) 비연결 무관 함수 수(n_dis) – 완전히 독립된 무관 노드. 이러한 파라미터 조합을 통해 “연속형 의존”, “분기형 의존”, “다중 입력/출력” 등 다양한 구조적 난이도를 체계적으로 탐색할 수 있다.

실험에서는 7개의 최신 모델(GPT‑5, GPT‑4‑Turbo, Claude‑3, Llama‑2‑70B, Mistral‑Large 등)을 동일한 그래프 집합에 적용했다. 주요 관찰은 다음과 같다.

1. 추론 최적화 모델 우위: GPT‑5와 Claude‑3 같은 모델이 일반 목적 모델보다 평균 성공률이 12~18% 높았다. 이는 함수 시그니처만 보고 의존 관계를 추론하는 능력이 강화된 결과로 해석된다.
2. 의존 깊이 민감도: 깊이 d가 5에서 10으로 증가할 때 성공률이 30% 이상 급락했으며, d=20에서는 거의 0에 수렴했다. 이는 LLM이 장기 메모리와 상태 추적에 한계를 보임을 시사한다.
3. 연결 무관 함수의 파괴력: n_conn이 510일 때 성공률이 1525% 포인트 감소했으며, 이는 모델이 타입‑호환 변수만 보고 “관련”이라고 오인하는 경향이 있음을 보여준다. 반면 n_dis가 동일 수준일 때는 영향이 미미했다.
4. 상태 전파 오류: 많은 모델이 문법적으로 올바른 함수 호출을 수행했지만, 이전 단계에서 얻은 변수 값을 최신값으로 갱신하지 못하거나, 잘못된 값으로 전달하는 경우가 빈번했다. 이는 “스테이트 트래킹”이 멀티턴 툴 사용에서 가장 취약한 부분임을 드러낸다.

이러한 실패 유형을 보완하기 위해 제안된 “변수 재진술” 기법은 매 호출 단계마다 현재까지 확보한 변수와 그 값을 LLM에게 명시적으로 제공한다. 이 간단한 프롬프트 엔지니어링은 모델이 내부 상태를 재구성하도록 유도해, 특히 GPT‑5에서 성공률을 62.5% → 81.3%로 끌어올렸다. 다른 모델에서도 평균 10~15%p 상승을 기록했다.

전체적으로 FuncBenchGen은 (1) 오염‑프리 synthetic 데이터 생성, (2) 다차원 난이도 제어, (3) 상세 실패 분석 및 보강 전략 제시라는 세 축을 통해 도구‑증강 LLM 평가에 새로운 표준을 제시한다. 향후 연구는 실제 API와의 연동, 동적 타입 추론, 그리고 인간‑인증 피드백을 결합한 하이브리드 벤치마크로 확장될 가능성이 있다.