코드 선택을 위한 정확 학습: 쌍별 질의 기반 ExPairT‑LLM

초록

ExPairT‑LLM은 LLM을 오라클로 활용해 “쌍별 멤버십”과 “쌍별 동등성” 질의를 통해 후보 코드들을 토너먼트 방식으로 비교·정제한다. 이를 통해 기존 방법보다 평균 13 %·최대 27 % 높은 pass@1을 달성하고, 복잡한 추론을 수행하는 LLM의 성능도 24 % 이상 끌어올린다.

상세 분석

본 논문은 대규모 언어 모델(LLM)이 생성한 다수의 코드 후보 중 정답을 정확히 찾아내는 “코드 선택” 문제에 초점을 맞춘다. 기존 접근법은 입력‑출력 예시를 생성하거나, 클러스터링·투표 기반 방법을 사용하지만, 예시가 부정확하거나 동등하지 않은 후보들을 구분하지 못하는 한계가 있다. 저자는 이러한 문제를 해결하기 위해 전통적인 정확 학습(Exact Learning) 프레임워크를 변형하고, LLM이 비교적 잘 수행할 수 있는 두 종류의 쌍별 질의를 도입한다.

1. 쌍별 멤버십 질의(pairwise membership) – 동일한 입력 집합에 대해 두 후보 프로그램이 생성한 출력 집합을 제시하고, 어느 쪽이 주어진 과제에 더 적합한지 LLM에게 판단하도록 한다. 이는 “어느 출력이 더 올바른가?”라는 질문으로, LLM이 복잡한 논리적 추론을 요구받지 않으면서도 비교적 높은 정확도를 보인다.

2. 쌍별 동등성 질의(pairwise equivalence) – 두 프로그램이 과제에 대해 의미적으로 동일한지 물으며, 불일치 시 차별 입력(differentiating input)을 반환한다. 반환된 입력은 실제 실행을 통해 검증 가능하므로, 오라클의 오류를 일정 부분 보완한다.

논문은 이 두 질의를 토대로 Copeland 방식 토너먼트를 구현한다. 먼저 현재 후보 집합을 입력 집합 I에 대해 실행해 출력 벡터를 얻고, 동일한 출력 벡터를 공유하는 프로그램들을 클러스터링한다. 각 클러스터는 하나의 “출력 후보”로 간주되며, 클러스터 간에 쌍별 멤버십 질의를 수행해 점수를 누적한다. 가장 높은 점수를 받은 클러스터가 다음 라운드의 후보가 된다.

선택된 클러스터가 아직 동등하지 않은 프로그램을 포함하고 있으면, 쌍별 동등성 질의를 통해 차별 입력을 얻고 이를 새로운 입력 집합 I에 추가한다. 이렇게 입력 집합을 점진적으로 확장하면서 클러스터를 재분할하고 토너먼트를 반복한다. 최종적으로 동등한 프로그램이 하나만 남으면 이를 반환한다.

이 알고리즘의 복원력은 두 가지 측면에서 강조된다. 첫째, Copeland 점수는 다수결 원칙에 기반하므로 개별 질의에서 LLM이 실수하더라도 전체 순위에 큰 영향을 미치지 않는다. 둘째, 동등성 질의에서 반환된 차별 입력은 실제 코드 실행을 통해 검증되므로, LLM이 잘못된 차별 입력을 제시하더라도 실행 결과가 불일치하면 해당 입력을 무시하고 재시도한다.

이론적으로는 LLM이 항상 정확히 답한다면 ExPairT‑LLM은 정확 학습자(exact learner)이며, 실제 상황에서는 쿼리 수가 O(|P|²) 이하로 제한된다. 실험에서는 HumanEval, MBPP‑sanitized, APPS, LiveCodeBench 네 가지 벤치마크에 대해 기존 최첨단 코드 선택기(B4, CODET)보다 평균 13 %·최대 27 % 높은 pass@1을 기록했다. 또한 OpenAI o1‑mini, DeepSeek‑R1, Gemini 2.5 Flash 등 복잡한 추론을 요구하는 LLM에 대해 각각 32.8 %, 20.4 %, 18.9 %의 성능 향상을 보였다.

핵심 기여는 (1) LLM이 비교적 잘 수행할 수 있는 새로운 쌍별 질의 설계, (2) 토너먼트 기반의 강인한 선택 메커니즘, (3) 차별 입력을 활용한 동적 입력 집합 확장으로 기존 코드 선택 방법의 한계를 크게 뛰어넘은 실증적 성과다.