LLM 기반 제안·검증으로 짧은 프로그램을 효율적으로 학습하기

초록

본 논문은 사전학습된 대형 언어모델(LLM)을 프로그램 후보 생성에 활용하고, 검증 집합에서 오류를 측정해 최적 프로그램을 선택하는 “LLM‑PV” 방식을 제안한다. 짧은 프로그램(길이 L) 목표를 적은 샘플로 학습하면서도, 전통적인 전수 탐색의 지수적 비용과 SGD 기반 학습의 샘플 비효율성을 동시에 극복한다. 다양한 알고리즘 과제(패리티, 패턴 매칭, 소수 판정 등)에서 200개 정도의 라벨만으로 정확히 규칙을 복원하고, 훈련 길이보다 훨씬 긴 입력에서도 일반화한다.

상세 분석

이 논문은 두 가지 전통적 접근법의 한계를 명확히 정리한다. 첫째, 짧은 프로그램을 가정하면 유한 가설 클래스 H의 크기가 |Σ|^L 정도가 되므로 경험적 위험 최소화(ERM)는 O(L·log|Σ|)개의 샘플만으로도 일반화 보장을 받을 수 있다. 하지만 실제 구현에서는 길이‑우선 열거가 필요하고, 후보 프로그램 수가 지수적으로 늘어나 실용적인 시간 복잡도를 초과한다. 둘째, 현대 딥러닝은 파라미터 공간을 SGD로 최적화함으로써 계산 효율성을 얻지만, 통계적 질의(SQ) 관점에서 보면 이러한 방법은 제한된 통계적 질의만을 수행한다. 특히 parity‑like 혹은 암호학적 구조를 가진 목표 함수는 SQ 차원이 매우 커서, SGD는 지수적인 샘플 수를 요구한다(논문에서는 이를 Proposition 1로 정량화).

이에 대한 해결책으로 제안된 LLM‑PV는 “제안·검증” 파이프라인을 도입한다. 사전학습된 LLM은 입력‑출력 예시를 조건으로 후보 프로그램(또는 프로그램 편집)을 확률적으로 생성한다. 생성된 후보는 제한된 실행 시간 내에 실제로 실행되고, 검증 집합에서 오류율이 측정된다. 최종 선택은 검증 오류가 최소인 프로그램이며, 이는 전통적인 ERM의 선택 기준과 동일하다. 중요한 점은 LLM이 제안 단계에서만 사용되고, 검증·선택 단계에서는 전혀 그라디언트가 사용되지 않으며, 검증 피드백이 제안 분포를 업데이트하지도 않는다. 따라서 LLM은 순수히 “검색 편향(prior)” 역할을 수행한다.

실험에서는 다양한 알고리즘 과제에 대해 LLM‑PV가 200~300개의 라벨만으로 정확히 목표 프로그램을 복원한다. 특히 소수 판정 과제에서는 초기에 단순한 자리수‑기반 휴리스틱을 탐색하고, 점차 모듈러 연산, 체인‑소거 검증까지 진행해 최종적으로 Miller‑Rabin 테스트를 찾아낸다. 이는 인간이 수행하는 프로그램 합성 과정과 유사한 “탐색‑정제” 루프를 보여준다. 반면, 동일 데이터에서 SGD‑학습된 트랜스포머, 파인‑튜닝, 인‑컨텍스트 학습, 전통적인 SVM·XGBoost 등은 훈련 정확도는 높지만 입력 길이가 늘어나면 급격히 성능이 저하된다. 이는 앞서 언급한 SQ‑hard 특성에 의해 발생하는 현상으로 해석된다.

또한 LLM‑PV는 결과 프로그램이 인간이 읽을 수 있는 코드 형태이며, 제안·검증 로그가 전부 저장돼 학습 과정의 투명성과 디버깅 가능성을 제공한다. 이는 기존의 블랙박스 신경망 대비 큰 장점이다. 이론적 섹션에서는 짧은 프로그램 클래스에 대한 ERM 샘플 복잡도와 열거 비용을 정리하고, SGD가 동일 클래스에서 왜 지수적 샘플을 필요로 하는지를 SQ 차원 분석을 통해 증명한다. 결국, 사전학습된 LLM이 제공하는 구조적 사전 지식이 “검색 편향”으로 작용해, 통계적 효율성(샘플 수)과 계산적 효율성(시간) 사이의 격차를 크게 줄일 수 있음을 보인다.