레포 수준 코드 완성을 위한 경량 Grep 기반 검색 최적화

초록

본 논문은 인덱스 없이 ripgrep과 같은 경량 검색 도구를 활용한 Lexical Retrieval이 대규모 저장소에서 코드 완성 성능을 크게 향상시킬 수 있음을 실증한다. Naive GrepRAG는 LLM이 스스로 검색 명령을 생성해 기존 그래프 기반 RAG와 동등한 정확도를 보였으며, 식별자 가중 재정렬과 구조 기반 중복 제거를 추가한 GrepRAG는 CrossCodeEval에서 7‑15 % 수준의 상대적 EM 향상을 달성한다.

상세 분석

GrepRAG 연구는 크게 세 가지 질문(RQ1‑RQ3)을 중심으로 전개된다. 첫 번째 질문(RQ1)에서는 “Naive GrepRAG가 기존의 복잡한 의미·구조 기반 RAG보다 충분히 경쟁력 있는가?”를 검증한다. 실험 결과, LLM이 생성한 ripgrep 명령으로 검색된 코드 조각은 의미 기반 BM25·Dense Retriever 혹은 그래프 기반 의존성 분석보다 평균 0.4 초 내에 반환되며, 특히 완성 위치와 물리적으로 인접한 파일·함수 정의를 정확히 포착한다. 이는 “lexical precision”이 코드 완성에 있어 중요한 신호임을 시사한다.

두 번째 질문(RQ2)에서는 Naive GrepRAG의 성공 요인을 분석한다. 저자들은 검색 키워드를 네 가지 패턴(클래스명, 메서드명, 변수명, 기타)으로 분류하고, 각 패턴이 완성 시나리오(클래스 선언, 메서드 호출, 변수 초기화 등)와 어떻게 매핑되는지를 정량화한다. 특히 클래스·메서드 이름이 고유성을 갖는 경우, ripgrep은 정확히 해당 정의와 사용 예시를 반환해 LLM에게 풍부한 컨텍스트를 제공한다. 반면, 의미 기반 접근법은 전체 저장소를 스캔하고 순위 매김 과정에서 노이즈가 섞이기 쉬워, 실제 완성에 도움이 되는 조각을 놓치는 경우가 빈번했다.

세 번째 질문(RQ3)에서는 Naive GrepRAG의 한계를 짚는다. 첫 번째 한계는 “키워드 모호성”이다. ‘init’, ‘run’ 등 빈번히 등장하는 일반 용어는 검색 결과에 과도한 노이즈를 유발한다. 두 번째 한계는 “컨텍스트 파편화·중복”이다. ripgrep은 파일 경계에서 결과를 강제로 절단하고, 동일 식별자를 포함하는 여러 조각을 별도 블록으로 반환한다. 이로 인해 LLM의 제한된 컨텍스트 윈도우가 중복된 코드에 소모되고, 중요한 흐름이 끊겨 모델이 올바른 의도를 파악하기 어려워진다.

이러한 문제를 해결하기 위해 제안된 GrepRAG는 두 단계의 경량 후처리 파이프라인을 도입한다. 첫 번째 단계는 “식별자 가중 재정렬”로, Jaccard 기반 초기 랭킹에 각 식별자의 등장 빈도와 TF‑IDF 가중치를 곱해 의미적 중요도를 반영한다. 두 번째 단계는 “구조 기반 중복 제거”로, AST(추상 구문 트리) 수준에서 동일 함수·클래스 정의를 식별하고, 가장 긴 연속 블록을 선택해 중복을 제거한다. 이 과정은 전체 검색 비용에 비해 미미한 오버헤드(≤ 0.05 초)만을 추가하면서, 평균 EM을 7 %~15 % 상승시킨다.

실험은 두 주요 벤치마크인 CrossCodeEval와 RepoEval‑Updated에서 수행되었다. CrossCodeEval에서는 기존 최첨단 GraphCoder, Vanilla‑RAG 등을 능가했으며, 특히 대규모 Java·Python 저장소(LOC > 500 k)에서 평균 검색 지연이 1.4 초 이하로 유지돼 실시간 IDE 지원 수준에 근접했다. 또한, GrepRAG는 “키워드 모호성” 상황에서 가중 재정렬이 노이즈를 62 % 감소시켰고, “컨텍스트 파편화” 문제를 구조 기반 중복 제거가 48 % 개선했다는 정량적 증거를 제시한다.

전체적으로 본 연구는 “복잡한 의미·구조 기반 인덱싱이 반드시 필요하지 않다”는 중요한 교훈을 제공한다. 경량 Lexical Retrieval와 간단한 후처리만으로도 LLM 기반 코드 완성의 정확도와 응답성을 크게 향상시킬 수 있음을 입증했으며, 이는 실무 IDE 플러그인·CI 파이프라인에 바로 적용 가능한 실용적 솔루션으로 평가된다. 향후 연구에서는 다중 언어·다중 프레임워크 환경에서 식별자 가중치 학습을 자동화하고, 동적 코드베이스에 대한 실시간 인덱스‑프리 업데이트 메커니즘을 탐색할 여지가 있다.