동적 소스와 엄격 테스트로 확장하는 코드 벤치마크

초록

CODE2BENCH는 실시간 코드 저장소에서 문제를 지속적으로 수집하고, 속성 기반 테스트(PBT)와 100% 분기 커버리지를 적용해 테스트의 엄격성을 극대화한다. 이를 통해 SC(자체 포함)와 WSC(약히 자체 포함) 두 유형의 과제를 구분하고, Python·Java 2,509개의 고품질 과제로 구성된 CODE2BENCH‑2509 벤치마크를 만든다. 10개 LLM을 평가한 결과, 알고리즘 합성 능력과 API 활용 능력 사이의 격차, 언어 생태계가 성능에 미치는 영향, 그리고 단순 테스트가 초래하는 ‘정답 착시’ 문제를 밝혀냈다.

상세 분석

본 논문은 코드 생성 LLM 평가의 근본적인 두 문제—정적·오염 위험이 높은 문제 출처와 낮은 테스트 엄격성—를 동시에 해결하기 위한 “Dual Scaling” 철학을 제시한다. 첫 번째 축인 소스 스케일링은 GitHub와 같은 실시간 코드 저장소에서 최신 커밋을 추출하고, 모델의 지식 컷오프 시점을 기준으로 시간 필터링을 적용해 학습 데이터에 포함될 가능성이 없는 문제만을 확보한다. 이를 위해 저자들은 Scope Graph 기반 의존성 분석을 도입, 함수가 외부 라이브러리에 의존하는 정도를 정량화하고, Self‑Contained(SC)와 Weakly Self‑Contained(WSC) 두 클래스로 자동 분류한다. SC는 순수 알고리즘 로직을, WSC는 일반적인 API 사용을 평가하도록 설계돼, 기존 벤치마크가 한쪽에 치우친 평가를 보완한다.

두 번째 축인 리고 스케일링은 Property‑Based Testing(PBT)을 활용해 수백에서 수천 개의 무작위 입력을 자동 생성하고, 원본 함수와의 출력 일치를 검증한다. 여기서 핵심은 “Great Filter”라 명명된 100% 분기 커버리지 게이트이다. PBT 스위트가 원본 함수에 대해 모든 분기를 실행해야만 과제가 최종 벤치마크에 포함되며, 이는 테스트가 실제 로직을 완전 탐색하도록 강제한다. 이 과정에서 복잡도(사이클로매틱 컴플렉시티)와 테스트 가능성을 CFG 분석으로 사전 검증하고, LLM‑as‑Judge를 통해 의미적 타당성을 인간 수준으로 평가한다.

구성된 CODE2BENCH‑2509는 Python·Java 각각 217·194·249개의 SC·WSC 과제로, 평균 LOC는 20.6·18.3·14.1, 평균 사이클로매틱 컴플렉시티는 5.3·2.6·3.6으로 기존 HumanEval·MBPP 대비 복잡도가 현저히 높다. 테스트 케이스는 평균 500개, 모두 100% 브랜치 커버리지를 달성한다.

LLM 평가 결과는 세 가지 주요 인사이트를 제공한다. 첫째, 모든 모델이 WSC(API 활용)에서는 비교적 높은 정확도를 보이지만, SC(알고리즘 합성)에서는 성능 격차가 크게 나타난다. 이는 현재 LLM이 대규모 코드 베이스에서 API 사용 패턴을 학습하는 데는 강하지만, 순수 논리 추론 능력은 아직 제한적임을 시사한다. 둘째, 동일 모델이라도 Python과 Java에서 성능 차이가 뚜렷이 나타나며, 이는 각 언어의 표준 라이브러리·생태계가 모델의 코드 생성 전략에 미치는 영향을 정량화한 최초 사례다. 셋째, 기존 벤치마크에서 보였던 ‘정답 착시’—즉, 몇 개의 예시 테스트만 통과해도 높은 점수를 받는 현상—가 100% 커버리지 테스트를 적용함으로써 크게 감소한다. 이는 평가의 신뢰성을 크게 향상시킨다.

기술적 기여는 크게 네 가지로 요약된다. (1) 동적 소스와 리고 스케일링을 결합한 Dual Scaling 프레임워크 설계, (2) Scope Graph 기반 의존성 분류와 100% 브랜치 커버리지 게이트를 통한 고품질 문제 선별 파이프라인, (3) Python·Java 다중 언어 지원과 자동화된 테스트 러너·인스트럭션 생성, (4) 진단용 “fingerprint” 시각화와 함께 제공된 상세 LLM 성능 분석. 전체 코드는 공개 저장소에 제공돼 재현성과 확장성을 보장한다.

이 논문은 코드 생성 LLM 평가에 있어 “동적·엄격·다중‑언어”라는 새로운 표준을 제시하며, 향후 벤치마크 설계와 모델 개발 모두에 중요한 방향성을 제공한다.