소형 언어 모델을 판사로 활용한 코드 생성 향상

초록

본 논문은 최신 소형 언어 모델(SLM)을 코드 정답 판별기(judge)로 미세조정하고, 이를 활용해 다수의 후보 코드를 생성한 뒤 최적의 구현을 선택함으로써 대형 모델에 버금가는 코드 생성 성능을 저비용으로 달성한다는 연구 결과를 제시한다.

상세 분석

본 연구는 두 가지 핵심 질문(RQ1, RQ2)에 초점을 맞춘다. RQ1에서는 SLM을 코드 정답 판별기로서의 신뢰성을 평가한다. 기존 연구인 RankEF가 T5‑770M 모델을 사용했지만, 실행 기반 정보 없이도 최신 SLM(예: Qwen2.5 Coder 0.5B·3B, Gemma‑3 4B, Llama‑3.2 3B)을 미세조정하면 중간 수준 이상의 Cohen Kappa(0.45~0.57)를 달성한다는 점을 실험적으로 입증한다. 특히, GPT‑4.1‑mini(≈80B)와 비교했을 때, 미세조정된 SLM은 77%~84%의 정확도로 거의 동등한 판단력을 보이며, 이는 “zero‑shot” 상황에서 대형 모델조차 판단 오류가 빈번하다는 기존 결과와 일치한다.

RQ2에서는 이러한 판별기를 코드 생성 파이프라인에 통합해 성능 향상을 검증한다. 후보 생성 단계에서는 1.3B~4B 규모의 SLM(DeepSeek Coder 1.3B, OpenCoder 1.5B, Qwen2.5 Coder 3B, Phi‑4 mini, Gemma‑3 4B)을 사용해 각 작업당 10개의 구현을 생성하고, 앞서 미세조정한 판별기가 가장 높은 신뢰도를 보인 코드를 선택한다. 이 방식을 동일 모델군의 가장 큰 버전(예: DeepSeek Coder 33B, Qwen2.5 Coder 32B 등)과 비교했을 때, 5개 벤치마크(HumanEval‑Java, MBPP‑Java, CoderEval‑Java) 모두에서 상위 4개의 경우에 작은 모델 + 판별기 조합이 대형 모델 단일 생성보다 높은 Pass@1 점수를 기록한다.

또한 비용·지연 측면에서도 두 개의 SLM(생성기+판별기)을 동시에 실행하는 인프라가 1×RTX 3090(≈1 k$) 수준에 머무르는 반면, 30B 규모 모델은 A100 80GB 기준 17 k$가 필요함을 정량화한다. 이는 중소기업이 자체 코드 추천 시스템을 구축할 때, 하드웨어 투자와 운영 비용을 크게 절감할 수 있음을 시사한다.

실험 설계는 544개의 Java 함수 과제와 230개의 CoderEval 과제를 포함한 대규모 데이터셋을 활용했으며, 훈련용 라벨은 테스트 실행 결과(정답/오답)로 자동 생성했다. 판별기 미세조정에는 zero‑shot, few‑shot, full‑fine‑tuning 세 가지 설정을 비교했으며, 실행 기반 피드백을 제공하지 않아도 성능이 크게 향상되는 점이 눈에 띈다. 이는 코드 실행 정보를 모델에 직접 주입하지 않아도, 충분히 풍부한 텍스트 기반 학습 데이터만으로도 코드 정답성을 학습할 수 있음을 의미한다.

결론적으로, 최신 SLM은 기존 RankEF 대비 판별 정확도와 코드 생성 성능 모두에서 우수하며, 실행 기반 정보를 필요로 하지 않는 간단한 미세조정만으로도 대형 모델에 필적하는 결과를 얻을 수 있다. 이는 “LLM‑as‑judge” 패러다임이 실제 산업 현장에서 비용 효율적인 코드 자동화 솔루션으로 실현 가능함을 입증한다.