LLM 기반 알고리즘 디버깅으로 절차적 정제 구현

초록

본 논문은 Udi Shapiro의 알고리즘 프로그램 디버깅(APD) 이론을 신경‑심볼릭 방식으로 확장한 Abduction‑Based Procedural Refinement(ABPR)를 제안한다. LLM을 오라클·수정기 역할로 활용하고, Prolog 메타‑인터프리터가 실행 트레이스를 트리 구조로 구체화한다. ARC‑AGI‑2 벤치마크에서 Gemini‑3‑Flash와 결합해 Pass@2 56.67 %를 달성했으며, 선언적 트레이스가 성능 향상의 핵심 요인임을 입증한다.

상세 분석

ABPR은 기존 LLM 기반 코드 수정을 “플라우저블 리즈닝”에 의존하는 방식에서 벗어나, 오류 원인을 형식화된 증거(디버깅 트리)와 연계한다는 점에서 혁신적이다. 논문은 먼저 APD의 핵심 개념—디버깅 트리, 버그 노드 정의(헤드가 의도 해석에 속하지 않으며 바디는 모두 정당)—을 정리하고, 이를 프로로그 메타‑인터프리터를 통해 실행 시점에 트레이스로 물리화한다. 트레이스는 tree(Goal, SubTraces) 형태로 재구성돼, 각 단계의 논리적 의존관계와 변수 바인딩을 명시한다.

LLM은 두 가지 역할을 수행한다. ① 오라클: 트레이스의 상위‑하위 노드를 순회하며 “버그 후보 집합 N*”을 제시한다. 여기서는 LLM이 인간 오라클을 대체하지만, 트레이스가 제공하는 구체적 증거 덕분에 무작위 추론보다 높은 정확도로 후보를 좁힌다. ② 수정기: N*에 대해 최소한의 수정(예: 연산자 교체, 리터럴 추가/삭제)을 제안한다. 이 과정은 전통적인 ILP의 정제 연산자와 유사하지만, 확률적 샘플링을 통해 다중 후보를 탐색한다.

ABPR의 전체 흐름은 알고리즘적으로 정의된 상태 머신으로, H_t → H_{t+1} 전이마다 (1) 트레이스 생성, (2) 버그 로컬라이제이션, (3) 가설 정제, (4) 일관성 검증을 반복한다. 일관성 검증은 SWI‑Prolog 실행기로 수행되며, 모든 학습 예제에 대해 성공하면 루프를 종료한다. 히스토리 버퍼와 top‑k 선택 메커니즘을 도입해 탐색 공간을 제한하고, 최종 후보는 커버리지 점수로 평가된다.

실험에서는 ARC‑AGI‑2라는 시각‑논리 복합 과제 집합을 사용한다. 이 벤치마크는 입력·출력 그리드만 제공되며, 중간 피드백이 없기 때문에 전통적인 LLM의 “첫 번째 시도 후 재작성”이 거의 실패한다. ABPR은 Prolog이라는 선언적 언어를 목표로 삼아, LLM이 약점으로 작용하는 영역에서도 높은 성능을 보였다. Ablation study에서 트레이스 없이 동일 LLM을 사용했을 때 Pass@2는 31 %에 머물렀지만, 트레이스를 포함하면 56.67 %로 급격히 상승한다. 이는 실행 증거가 LLM의 “플라우저블 리즈닝”을 구체적 논리 검증으로 전환시켜, 오류 탐지와 수정이 독립적인 단계로 분리됨을 의미한다.

이 논문이 제시하는 접근법은 (1) 디버깅 과정의 **감시 가능성(auditable)**을 확보하고, (2) LLM과 전통적 형식 방법을 상호 보완하도록 설계했다는 점에서 학계·산업 모두에 의미가 크다. 특히, 프로그래밍 언어가 선언적일수록 메타‑인터프리터가 생성하는 트레이스가 풍부해, 향후 다른 논리 기반 언어(예: Datalog, Answer Set Programming)에도 적용 가능성이 높다. 다만 현재는 LLM을 오라클·수정기로 단순 샘플링에 의존하고 있어, 오라클의 오류가 전체 파이프라인에 전이될 위험이 존재한다. 향후 연구에서는 오라클 신뢰도 추정, 다중 LLM 앙상블, 혹은 형식 검증기와의 하이브리드 결합을 통해 이 문제를 완화할 수 있을 것이다.