보안코드 생성 평가를 위한 SecCodeBenchV2 벤치마크

초록

SecCodeBench‑V2는 알리바바 그룹의 실제 산업 현장에서 추출한 98개의 코드 생성·수정 시나리오를 기반으로, 5개 언어와 22개 CWE 카테고리를 포괄하는 공개 벤치마크이다. 함수‑레벨 과제로 프로젝트 스캐폴드를 제공하고, 모델이 목표 함수를 구현·패치하도록 요구한다. 각 시나리오는 동적 실행 기반의 기능·보안 테스트와, 필요 시 LLM‑as‑a‑judge를 결합한 평가 파이프라인을 통해 Pass@K 점수를 산출한다.

상세 분석

SecCodeBench‑V2는 기존 보안코드 벤치마크가 안고 있던 데이터 오염, 정적 평가 한계, 그리고 점수 집계의 비체계성을 근본적으로 개선한다. 첫째, 데이터 구축 단계에서 알리바바 내부의 실제 취약점 사례를 비식별화하여 사용함으로써 공개 코드와 겹치는 위험을 최소화하고, 실무 프로젝트 수준의 전체 스캐폴드를 제공한다. 이는 모델이 단순 코드 스니펫이 아니라 실제 프로젝트 구조와 의존성을 고려해 코드를 생성하도록 강제한다. 둘째, 평가 파이프라인은 Docker 격리 환경에서 동적 실행을 기본으로 한다. 기능 테스트를 먼저 수행하고, 기능이 통과된 경우에만 보안 테스트를 진행함으로써 ‘기능‑우선, 보안‑후’라는 현실적인 개발 흐름을 재현한다. 동적 PoC 테스트는 메모리 안전, SQL 인젝션, 명령어 인젝션 등 실행 시점에만 드러나는 취약점을 정확히 검증한다. 셋째, 정형화된 테스트만으로 판단이 어려운 약한 암호화, 하드코딩된 비밀 등은 다수의 LLM을 활용한 ‘LLM‑as‑a‑judge’ 메커니즘으로 보완한다. 다수 모델의 의견을 다수결로 합산함으로써 주관적 판단의 변동성을 줄이고, 판단 근거를 로그로 남겨 재현성을 확보한다. 넷째, 점수 체계는 Pass@K를 기본으로 하면서 시나리오 난이도, CWE 심각도, 언어별 가중치를 적용한다. 이는 단순 통과/실패를 넘어, 모델이 고위험 취약점을 얼마나 효과적으로 방어하는지를 정량화한다. 마지막으로, 모듈식 설계 덕분에 새로운 언어·프레임워크·LLM 제공자를 손쉽게 추가할 수 있어 확장성이 뛰어나다. 전체적으로 SecCodeBench‑V2는 실무 적용성을 높인 데이터, 실행 기반의 정밀 평가, 그리고 다차원 점수 집계라는 세 축을 통해 LLM 기반 코딩 어시스턴트의 보안 역량을 종합적으로 측정할 수 있는 강력한 인프라를 제공한다.