레포전문 소형 코딩 모델 SWE‑Spot: 저장소 중심 학습으로 작은 모델도 대형 모델 수준을

초록

SWE‑Spot은 작은 파라미터 규모(4B) 모델을 특정 코드 저장소에 특화시켜, 기존의 작업‑중심 학습(TCL) 한계를 극복한다. 저장소‑중심 학습(RCL)이라는 새로운 패러다임을 제시하고, 설계·구현·진화·테스트 네 가지 경험(RCX)을 통해 저장소의 “물리법칙”을 파라미터에 내재시킨다. 실험 결과, RCL 기반 SWE‑Spot‑4B는 30B 규모 오픈‑웨이트 모델보다 높은 정확도와 낮은 추론 비용을 달성하며, 상용 소형 모델과도 경쟁한다.

상세 분석

본 논문은 소형 언어 모델(SLM)이 대형 모델과 달리 추론 시 강력한 일반화 능력을 갖추지 못한다는 근본적인 문제를 지적한다. 기존의 작업‑중심 학습(TCL)은 다양한 저장소에서 동일 작업(예: 이슈 해결) 데이터를 대규모로 수집해 모델을 훈련시키지만, 이는 표면적인 패턴(패치 템플릿, 쉘 명령)만을 학습하게 만들고 저장소 고유의 설계 의도·의존 관계·동적 동작을 내재화하지 못한다. 저자들은 이를 인간 개발자가 특정 프로젝트에 오랜 기간 몰입해 설계 철학과 진화 역사를 습득하는 과정에 비유하고, 저장소‑중심 학습(RCL)을 제안한다. RCL은 하나의 목표 저장소에 대해 깊이 있는 경험을 제공함으로써, 모델이 해당 저장소의 구조·동작을 파라미터에 직접 인코딩하도록 설계되었다. 구체적으로 네 가지 RCX(Repository‑Centric Experience) 유닛을 정의한다. 첫째, Software Design 단계에서는 에이전트가 특정 모듈을 탐색해 설계 의도와 상호작용을 보고서 형태로 생성하도록 하여, 코드의 의미론적 맥락을 학습한다. 둘째, Contextual Implementation에서는 단순한 Fill‑in‑the‑Middle이 아니라, 구현 목표만 주고 필요한 컨텍스트를 스스로 탐색·수집하도록 함으로써 교차 파일 의존성을 파악한다. 셋째, Evolutionary Replay는 커밋·PR 히스토리를 재현해 과거 버그와 수정 과정을 재현하게 함으로써, 저장소가 시간에 따라 어떻게 진화했는지를 학습한다. 넷째, Semantic‑Runtime Alignment는 역사적 버그에 대한 테스트를 생성하도록 하여, 기대 동작과 실제 런타임 사이의 불일치를 정량화하고, 이를 통해 모델이 의미론적 검증 능력을 갖추게 한다. 이러한 네 가지 경험을 교차 학습함으로써, 모델은 단일 작업에 국한되지 않고 저장소 전반에 걸친 다중 과제(이슈 해결, 기능 구현, 테스트 작성, 코드베이스 QA)를 수행할 수 있는 내재된 저장소 지식을 획득한다. 실험에서는 4B 파라미터 모델인 SWE‑Spot‑4B를 RCL 기반으로 훈련시켰으며, 동일 저장소 내에서 시간적 프로토콜을 적용한 Repository‑Centric Evaluation(RCE)에서 30B 규모 오픈‑웨이트 모델(CWM, Qwen3‑Coder)보다 평균 12%~18% 높은 정확도를 기록했다. 또한 추론 시 토큰 사용량이 30% 이하로 감소해 비용 효율성도 입증했다. Ablation 연구에서는 각 RCX 유닛이 서로 시너지 효과를 내며, 특히 테스트 생성 경험이 이슈 해결 성능을 크게 끌어올리는 것을 확인했다. 이러한 결과는 RCL이 단순히 컨텍스트 메모리 확대가 아니라, 파라미터에 저장소‑특화 지식을 깊이 주입함으로써 작은 모델도 대형 모델에 필적하는 성능을 낼 수 있음을 증명한다. 논문은 또한 RCL이 TCL을 완전히 대체하기보다는 보완적인 역할을 수행한다는 점을 강조하며, 향후 다중 저장소·다중 도메인에 대한 확장 가능성을 제시한다.