코드 생성의 새로운 패러다임 하이드라

초록

Hydra는 코드 레포지토리 전체를 트리 구조로 인덱싱하고, 호출 그래프 기반 의존성 검색기(DAR)를 통해 목표 함수에 필요한 실제 종속성을 정확히 찾아낸다. 이와 BM25 기반 유사도 검색을 결합해 필수 구현 블록과 활용 예시를 동시에 제공함으로써, 기존 청크 기반·유사도 중심 RAG 방식이 놓치는 구조적 관계와 비연속적인 의존성을 보완한다. DevEval와 RepoExec 벤치마크에서 오픈·클로즈드 모델 모두 5% 이상 Pass@1 향상을 달성했으며, 작은 모델이 큰 모델의 성능을 따라잡는 효과도 입증했다.

상세 분석

본 논문은 코드 레포지토리 수준의 자동 코드 생성 과제가 기존 자연어 처리(NLP) 기반 RAG 기법으로는 구조적 한계를 드러낸다는 점을 명확히 짚는다. 첫 번째 한계는 청크 기반 인덱싱이다. 파일을 고정 길이 텍스트 조각으로 나누면 함수·클래스와 같은 논리적 단위가 파편화되고, 서로 다른 파일에 흩어져 있는 의존성이 텍스트 연속성에 의존하게 된다. 이는 코드의 계층적 관계와 호출 그래프를 무시하는 것이며, 실제 개발자가 코드를 탐색하는 방식과 정면으로 충돌한다. 두 번째 한계는 순수 유사도 검색이다. BM25, TF‑IDF, 임베딩 코사인 유사도 등은 표면적인 어휘·시맨틱 유사성에 기반하지만, 레포지토리 수준에서는 “필요한 함수·클래스·전역 변수”와 같은 기능적 의존성이 어휘와 일치하지 않을 경우 검색에 실패한다. 결과적으로 모델은 중요한 구현 블록을 놓치거나, 관련성 낮은 예시 코드에 노출돼 생성 품질이 저하된다.

Hydra는 이러한 문제를 구조‑인식 인덱싱과 의존성‑인식 검색기로 해결한다. 먼저 AST 파서를 이용해 레포지토리를 함수·클래스·변수 노드로 분해하고, 이들을 트리 형태로 저장한다. 트리 노드 간의 부모‑자식 관계, import‑dependency, 호출‑관계 등을 메타데이터로 보강함으로써 “코드 단위” 자체가 검색 단위가 된다. 두 번째 핵심은 Dependency‑Aware Retriever(DAR)이다. 목표 함수의 시그니처와 현재 파일의 import 정보를 입력으로 받아, 경량화된 그래프 신경망(또는 트리‑LSTM)으로 호출 그래프를 추론한다. 이 과정에서 실제로 필요한 정의(함수 구현, 클래스 선언, 전역 변수)를 정확히 식별하고, 해당 노드들을 빠르게 반환한다. DAR는 기존의 dense retrieval 모델보다 파라미터가 적고, 레포지토리 규모가 커져도 검색 시간 복잡도가 로그 수준에 머무른다.

세 번째 혁신은 DAR와 BM25 기반 유사도 검색을 결합한 하이브리드 전략이다. DAR가 제공하는 “필수 빌딩 블록”은 코드의 기능적 완전성을 보장하고, BM25가 제공하는 “사용 예시”는 모델에게 실제 호출 패턴과 코드 스타일을 학습시킨다. 두 종류의 컨텍스트를 하나의 프롬프트에 병합할 때는 토큰 제한을 고려해 중요도 기반 가중치를 적용한다.

실험에서는 Python 기반 DevEval와 RepoExec 두 벤치마크를 사용했으며, 모델군은 오픈소스 Qwen2.5‑Coder 1.5B·7B와 클로즈드 GPT‑4.1 mini를 포함한다. Hydra는 모든 설정에서 Pass@1을 기준으로 기존 최고 성능 대비 5.2%~6.8% 상승을 기록했고, 특히 1.5B 모델이 7B 모델의 성능을 근접 혹은 초과하는 현상을 보였다. 이는 구조‑인식 검색이 모델 파라미터 수에 대한 의존도를 크게 낮춘다는 중요한 시사점을 제공한다.

결론적으로, 코드를 자연어와 동일시하는 기존 RAG 접근법을 탈피하고, 코드 자체의 구조와 의존성을 명시적으로 모델링함으로써 레포지토리 수준 코드 생성의 정확도와 효율성을 크게 향상시켰다. 향후 연구는 다중 언어 지원, 동적 의존성 분석, 그리고 IDE와의 실시간 연동을 통해 Hydra를 실제 개발 워크플로에 적용하는 방향으로 확장될 수 있다.