PR 기반 장기 에이전시 학습 daVinci‑Agency

초록

daVinci‑Agency는 실제 소프트웨어 개발 과정에서 발생하는 Pull Request(PR) 연쇄를 활용해 장기‑계획 에이전시 학습 데이터를 자동으로 생성한다. 239개의 고품질 PR 체인을 85k 토큰·116개 툴 호출 규모로 정제해 GLM‑4.6을 미세조정하면 Toolathlon 등 장기‑과제 벤치마크에서 47% 이상의 상대 성능 향상을 달성한다.

상세 분석

본 논문은 장기‑계획 에이전시 학습에 필요한 “시간‑연속적인 의존 구조”와 “단계별 진화적 피드백”을 제공하는 데이터가 부족하다는 문제를 지적한다. 기존 합성 데이터는 단일 기능에 국한되거나 인간 라벨링 비용이 과다해 확장성이 떨어진다. 저자들은 이러한 한계를 극복하기 위해 실제 오픈소스 프로젝트의 PR 흐름을 데이터 소스로 삼는다. PR은 (1) 연속적인 커밋을 통한 작업 분해, (2) 전체 목표와 일관성을 유지하는 통합 목적, (3) 버그 수정·리뷰 피드백을 통한 검증 가능한 정제 과정을 자연스럽게 포함한다.

데이터 구축 파이프라인은 크게 세 단계로 구성된다. 첫째, 동일 목표를 공유하는 PR들을 시간 순서대로 연결해 “PR 체인”을 만든다. 여기서 각 PR은 자연어 설명(이슈·커밋 메시지·코멘트)과 실제 패치(코드 변경)를 쌍으로 갖는다. 둘째, 체인 내 의존 관계를 분석해 전후 단계 간의 상태 전이를 명시한다. 이는 에이전트가 이전 단계의 결과를 정확히 이해하고 이어받아야 함을 강제한다. 셋째, 자동 롤아웃과 평가 함수를 통해 생성된 행동(추론·툴 호출) 시퀀스가 원본 패치와 일치하는지 검증한다. 검증을 통과한 샘플만을 데이터셋에 포함시켜 높은 품질을 확보한다.

실험에서는 GLM‑4.6 모델을 239개의 PR 체인(총 평균 85k 토큰, 116 툴 호출)으로 미세조정하였다. 그 결과 Toolathlon에서 47% 상대 성능 향상, 전체 벤치마크에서 평균 148% 개선을 기록했다. 특히 작업 분해, 장기 일관성 유지, 오류 정정이라는 세 가지 메타‑스킬이 눈에 띄게 향상되었으며, 이는 PR 기반 데이터가 에이전시의 “목표‑지향적 지속성”을 학습시키는 데 효과적임을 입증한다.

또한 저자들은 훈련·추론 시간대를 확장했을 때 성능이 로그‑선형적으로 상승하는 스케일링 법칙을 제시한다. 이는 장기‑계획 능력이 단순히 모델 크기나 파라미터 수에 의존하는 것이 아니라, 툴 호출 빈도와 상호작용 길이와 같은 “시간‑차원” 데이터 규모에 크게 좌우된다는 중요한 통찰을 제공한다.

한계점으로는 PR 체인 구성 시 프로젝트마다 커밋 정책·리뷰 문화가 다르기 때문에 데이터 편향이 발생할 가능성이 있다. 또한 현재는 최대 5개의 PR을 체인으로 제한했는데, 더 복잡한 프로젝트에서는 수십 단계에 걸친 의존성을 다루어야 할 필요가 있다. 향후 연구에서는 다양한 오픈소스 생태계와 다중‑언어 지원을 확대하고, 자동 의존성 추론 및 체인 길이 확장 기법을 개발함으로써 데이터 다양성과 스케일을 더욱 강화할 수 있을 것이다.