멀티초이스 코드 검색을 위한 테스트 기반 에이전트와 CoSQA+ 벤치마크

초록

CoSQA+는 기존 코드 검색 데이터셋의 한계를 극복하기 위해 다중 정답을 허용하고, 테스트‑드리븐 에이전트를 이용해 자동으로 기능 검증을 수행한다. 412 080개의 자동 라벨링 쌍과 1 000개의 인간 검증 쌍을 공개했으며, 에이전트는 93.9%의 정확도로 기존 인간·LLM 라벨링을 능가한다. 다중 선택 평가 지표 MAP를 도입하고, 여러 임베딩 기반 모델을 CoSQA+로 미세조정했을 때 전반적인 검색 성능이 향상됨을 실증하였다.

상세 분석

본 논문은 코드 검색 연구에서 두 가지 근본적인 문제를 짚는다. 첫째, 기존 데이터셋이 인간 어노테이터에 의존해 “의미적 일치”만을 평가함으로써 실제 실행 시 기능적 일치 여부를 놓친다. 이는 특히 파이썬처럼 동적 타입 언어에서 코드의 동작을 정확히 판단하기 어렵게 만든다. 둘째, 대부분의 벤치마크가 1‑to‑1 매칭을 전제로 MRR 같은 단일 순위 지표만을 사용해 다중 정답이 존재하는 현실 상황을 반영하지 못한다.

이를 해결하기 위해 저자들은 (1) 다중 모델(코드‑쿼리 임베딩, BM25 등)로 상위 20개의 후보 코드를 선별하고, (2) “테스트‑드리븐 에이전트” 파이프라인을 통해 자동으로 테스트 케이스를 생성·실행·버그 수정·최종 판정까지 수행한다. 에이전트는 크게 다섯 단계로 구성된다.

• 예비 스크리너: 후보 코드의 문법 오류와 기본 적합성을 빠르게 필터링한다.
• 테스트 프로그램 생성기: 쿼리의 요구사항을 파싱해 입력·출력 조건을 추출하고, 이를 기반으로 파이썬 unittest 형태의 테스트 코드를 만든다.
• 테스트 실행기: 격리된 샌드박스 환경에서 테스트를 실행해 성공·실패를 기록한다.
• 버그 수정기: 실패한 경우 자동 리팩터링 혹은 간단한 패치를 시도해 재실행한다.
• 최종 판정기: 모든 테스트를 통과하면 “정확히 매치”로 라벨링하고, 그렇지 않으면 “불일치”로 분류한다.

실험에서는 1 000개의 무작위 쌍에 대해 인간 전문가가 설계한 테스트와 비교했을 때, 에이전트는 93.9%의 정확도를 기록했다. 특히 자동 생성된 테스트 중 83.67%가 실행 가능했으며, 이는 기존 LLM 기반 라벨링이 70% 이하였던 것과 큰 차이를 보인다.

데이터 규모 측면에서 CoSQA+_all은 412 080개의 쌍을 제공해 기존 CoSQA(20 604쌍)보다 20배 이상 확대되었으며, 인간 검증된 CoSQA+_verified는 1 000쌍을 골라 금본위 골드 스탠다드로 활용한다.

성능 평가에서는 세 가지 임베딩 모델(CodeBERT‑1, UniXcoder, CodeT5+)을 CoSQA와 CoSQA+ 각각으로 미세조정했다. 모든 모델이 MAP@10과 MRR 모두에서 CoSQA+ 기반 학습이 우수함을 보였으며, 특히 MAP@10에서 평균 4.2%p 상승을 기록했다. 또한, PHP, Java, Go에 대한 교차 언어 실험(RQ5)에서 평균 10.33%p의 정확도 향상을 확인, 테스트‑드리븐 에이전트가 파이썬에 국한되지 않음을 입증했다.

이 논문의 주요 공헌은 (1) 최초의 멀티초이스 코드 검색 벤치마크 구축, (2) 93.9% 정확도의 자동 라벨링 에이전트 설계, (3) 다중 모델 후보 선정과 테스트 기반 검증을 결합한 확장 가능한 파이프라인 제공, (4) 공개 데이터셋을 통해 향후 연구 재현성과 확장성을 크게 높인 점이다.