실제 환경에서 LLM 코드 추론 능력 평가와 복합성 기반 벤치마크 구축

초록

본 논문은 실제 파이썬 프로젝트에서 추출한 1,200개의 코드 추론 문제를 모아 RE2‑Bench를 제시하고, 9가지 복합성 지표를 활용해 문제를 낮은 복합성(LC)과 높은 복합성(HC)으로 구분한다. 10개의 최신 LLM을 네 가지 추론 과제(입력, 출력, 루프, 분기)에서 평가한 결과, HC 문제에서 성능이 20%~48% 크게 감소함을 확인했다. 또한 실패 원인을 18가지 카테고리로 체계화하여 향후 모델 개선 방향을 제시한다.

상세 분석

본 연구는 기존 코드 추론 벤치마크가 지나치게 단순한 LLM‑생성 프로그램에 의존한다는 한계를 지적하고, 실제 개발 현장에서 마주치는 복합적인 코드 구조와 데이터 타입을 반영한 새로운 평가 프레임워크를 설계하였다. 데이터 수집 단계에서는 기존 HumanEval·CRUXEval·ClassEval·Avatar와 같은 공개 벤치마크 외에, GitHub에서 스타 ≥ 500, 포크 ≥ 100, 테스트 스위트가 정상적으로 통과되는 파이썬 레포지토리를 메타 기준으로 선정해 8,603개의 메서드를 추출하였다. 동적 슬라이스 기법을 적용해 호출 체인을 자동으로 구성하고, 중복·무출력·순환 타입을 필터링한 뒤 최종 3,129개의 고유 추론 문제를 확보하였다.

복합성 측정은 사이클로매틱 복잡도(M₁), 복합 조건식(M₂), 중첩 수준(M₃), 구조적 복합성(M₄), 서드파티 API 호출 수(M₅), 클래스 간·내 의존성(M₆·M₇), 원시 변수 수(M₈), 복합 변수 수(M₉) 등 총 9가지 메트릭을 정의하고, 각 메트릭별 임계값을 자동 튜닝한 후 다수결 투표 방식으로 LC와 HC를 구분한다. 실루엣 점수와 Davies‑Bouldin Index를 활용해 군집 경계의 견고함을 검증했으며, 결과적으로 기존 벤치마크는 거의 전부 LC에 속하고, 실세계 프로젝트는 HC 비중이 현저히 높음을 확인했다.

프롬프트 설계에서는 정적·동적 분석을 통해 복합 객체를 JSON 형태로 직렬화·역직렬화하고, 적응형 few‑shot 샘플을 제공해 변수값 예측의 모호성을 최소화하였다. 평가 메트릭은 전체 정확도 외에 부분 추론 성공률, 호출 체인 길이 대비 정확도, 그리고 개별 메트릭과 성능 간의 상관관계를 포함한다.

실험에서는 GPT‑4‑Turbo, Claude‑2, Llama‑2‑70B 등 10개의 모델을 입력·출력·루프·분기 네 작업에 적용했으며, HC 문제에서 평균 성능 감소율이 입력 37.36%, 출력 36.16%, 루프 20.90%, 분기 48.60%에 달했다. 특히 중첩 구조와 복합 조건식이 성능 저하에 가장 큰 영향을 미쳤으며, 호출 체인 길이가 길어질수록 입력 예측이 어려워지는 경향을 보였다. 모델별로는 ‘고추론’ 설정을 활성화한 버전이 일반 모델보다 일관적으로 우수했으며, 복합성 메트릭과 성능 사이에는 중간 정도의 음의 상관관계가 통계적으로 유의미하게 나타났다.

마지막으로 실패 사례를 18개의 세부 카테고리(예: 타입 직렬화 오류, 호출 체인 누락, 조건식 오해 등)로 분류하고, 각 카테고리별 대표 사례와 개선 방안을 제시함으로써 향후 LLM 기반 코드 이해 시스템의 설계 지침을 제공한다. 전체적으로 이 논문은 코드 추론 평가에 현실적인 복합성을 도입함으로써 기존 연구의 과대평가 문제를 바로잡고, 보다 견고한 모델 개발을 위한 구체적인 벤치마크와 분석 도구를 제공한다.