LLM 기반 정적 널리티 오류 자동 복구 시스템 NullRepair

초록

NullRepair는 정적 널리티 검사기가 남긴 잔여 오류를 자동으로 해결하는 시스템이다. 오류 위치와 사용 패턴을 정적 분석으로 추출하고, 인간이 만든 200개 오류에 대한 흐름도를 기반으로 LLM에게 적절한 컨텍스트를 제공해 패치를 생성한다. 12개의 실제 Java 프로젝트에서 전체 오류의 63%를 해결했으며, 대부분의 프로젝트에서 단위 테스트를 그대로 통과시켰다.

상세 분석

본 논문은 정적 널리티 검사기의 잔여 오류, 즉 어노테이션 추론만으로는 해결되지 않는 오류들을 자동으로 고치는 방법을 제시한다. 핵심 아이디어는 두 단계로 나뉜다. 첫째, 오류가 발생한 심볼(변수·필드·메서드 등)의 “안전 사용 영역”(safe usage)과 “위험 사용 영역”(unsafe usage)을 정적 분석으로 전역적으로 색인한다. 안전 사용 예시는 해당 심볼이 널 체크를 거치거나 널이 허용된 컨텍스트에서 사용되는 코드를 의미한다. 이러한 예시들을 프롬프트에 삽입함으로써 LLM이 프로젝트 전반의 관례와 일관된 수정을 제안하도록 만든다. 둘째, 저자들은 200개의 실제 오류를 손수 분석해 인간이 따르는 의사결정 흐름을 도식화한 흐름도를 구축했다. 흐름도는 “어노테이션으로 해결 가능한가?”, “제3자 라이브러리 코드를 수정해야 하는가?”, “안전 사용 예시를 추출할 수 있는가?” 등 10여 개의 분기점으로 구성된다. NullRepair는 각 오류마다 흐름도를 순차적으로 탐색하면서 정적 분석 결과와 LLM 응답을 조합한다. LLM 호출은 단일 샷이 아니라, 오류 위치, 트리거 표현식, 안전 사용 예시, 그리고 이전 단계에서 얻은 메타 정보를 포함한 다중 라운드 대화 형태로 이루어진다. 이 과정에서 모델이 제시한 수정안을 정적 검증(예: 타입 체크, 컴파일)으로 즉시 확인하고, 실패하면 대안을 재요청한다.

평가에서는 NullRepair를 최신 어노테이션 추론기(Annotator)와 NullAway 검사기와 결합해 12개의 오픈소스 Java 프로젝트(총 1,119개 잔여 오류)에 적용했다. 결과는 63% 오류 해결율이며, 두 개의 베이스라인(단일 샷 프롬프트, mini‑SWE‑agent)보다 테스트 실패율이 현저히 낮았다. 구체적으로 10/12 프로젝트에서는 모든 단위 테스트가 그대로 통과했고, 나머지 두 프로젝트에서도 98% 이상이 통과했다. 베이스라인은 오류 해결율은 더 높았지만(72%·78%) 대부분의 프로젝트에서 테스트가 깨지는 문제가 있었다. 또한, 인간 평가에서 NullRepair가 제안한 패치는 개발자가 별도 수정 없이 받아들일 가능성이 6181% 더 높고, 완전히 받아들일 수 없는 경우는 2333% 적었다. 비용 측면에서는 오류당 평균 1.2분, 15,000 토큰(≈$0.05)으로, 실시간 자동화에 충분히 저렴한 수준이다.

한계점으로는 현재 Java와 NullAway에 특화돼 있어 다른 언어나 널리티 검사기에는 직접 적용하기 어려울 수 있다. 또한, 안전 사용 예시가 충분히 존재하지 않을 경우 프롬프트가 빈약해져 모델이 부적절한 패치를 생성할 위험이 있다. 향후 연구에서는 다중 언어 지원, 안전 사용 예시 자동 생성, 그리고 LLM 내부의 논리 추론을 강화하는 방법을 모색할 여지가 있다.