베이지안 프롬프트 최적화로 코드 생성 정확도 향상

초록

본 논문은 테스트 기반 코드 생성 과제에서 대형 언어 모델(LLM)의 프롬프트를 베이지안 최적화(Bayesian Optimization) 기법으로 자동 탐색한다. 연속 임베딩 공간에서 후보 프롬프트를 탐색하고, 보조 LLM을 이용해 임베딩을 인간이 이해 가능한 텍스트 프롬프트로 변환한다. 고차원 임베딩에 대한 가우시안 프로세스(GP) 서프라이즈 모델을 랜덤 프로젝션과 차원 스케일링 사전분포로 보강하여 샘플 효율성을 확보한다. HumanEval+ 벤치마크와 여러 베이스 LLM에 대해 실험한 결과, 고정 프롬프트나 수동 설계보다 코드 정확도가 크게 향상되었으며, 몇 차례의 BO 반복만으로도 의미 있는 성능 개선을 달성한다.

상세 분석

본 연구는 “프롬프트 설계”라는 인간 중심의 작업을 자동화하기 위해 베이지안 최적화(Bayesian Optimization, BO)를 적용한 점이 가장 큰 혁신이다. 전통적인 프롬프트 엔지니어링은 도메인 전문가의 직관에 크게 의존하며, 탐색 공간이 토큰 시퀀스의 조합으로 인해 기하급수적으로 커진다. 이를 해결하기 위해 저자들은 두 단계의 매핑을 도입한다. 첫 번째 매핑은 고차원 연속 임베딩 공간(예: LLaMA‑2의 4096‑차원)으로, 여기서 BO는 연속적인 탐색이 가능하도록 한다. 두 번째 매핑은 보조 LLM(LLM_aux)을 이용해 임베딩을 실제 텍스트 프롬프트로 변환한다. 이 과정은 “임베딩 → 텍스트”라는 비선형 변환을 포함하지만, 보조 LLM이 사전 학습된 언어 지식을 활용하므로 인간이 읽을 수 있는 형태의 프롬프트를 생성한다는 장점이 있다.

고차원 GP 서프라이즈 모델 구축은 일반적인 BO에서 가장 큰 난제이다. 차원 수가 4096에 달하면 커널 행렬의 계산 복잡도와 과적합 위험이 급증한다. 저자들은 이를 완화하기 위해 (1) 랜덤 프로젝션을 적용해 임베딩을 저차원(예: 128‑256)으로 압축하고, (2) 차원 스케일링(prior) 기법을 도입해 각 차원에 대한 사전 분산을 데이터 차원에 비례하도록 설정한다. 이러한 설계는 고차원 공간에서도 GP가 효과적인 불확실성 추정과 예측을 수행하도록 만든다.

BO의 핵심 구성 요소인 획득 함수는 Expected Improvement(EI)를 사용한다. EI는 현재까지 관측된 최고 정확도보다 개선될 확률과 기대 개선량을 동시에 고려해 탐색‑활용 트레이드오프를 자동으로 조정한다. 알고리즘 흐름은 다음과 같다: (1) 초기 프롬프트와 고정 명령어를 임베딩하고, (2) 현재 GP 모델을 기반으로 EI를 최대화하는 후보 임베딩을 선택, (3) 선택된 임베딩을 보조 LLM에 전달해 텍스트 프롬프트를 생성, (4) 베이스 LLM에 프롬프트를 입력해 코드를 생성, (5) 테스트 케이스를 실행해 정확도(목표 함수)를 측정, (6) (임베딩, 정확도) 쌍을 GP에 업데이트. 이 과정을 사전 정의된 반복 횟수 혹은 목표 정확도 달성 시까지 반복한다.

실험에서는 HumanEval+ 데이터셋을 사용해 여러 베이스 LLM(예: GPT‑3.5, LLaMA‑2‑7B 등)에 대해 BODE‑GEN을 적용했다. 결과는 고정 프롬프트 대비 평균 4‑7%p(percentage point) 상승을 보였으며, 특히 작은 모델에서 개선 폭이 크게 나타났다. 또한 BO가 10‑15회 정도의 반복만에 수렴하는 모습을 보여 샘플 효율성이 입증되었다. 이는 프롬프트 탐색 비용(LLM 호출 비용 및 실행 비용)을 크게 절감할 수 있음을 의미한다.

한계점으로는 (1) 보조 LLM 자체가 오류를 일으킬 경우 임베딩‑프롬프트 변환이 왜곡될 수 있다는 점, (2) 현재는 단일 테스트 세트에 대한 정확도만을 목표로 하므로 다중 목표(예: 실행 시간, 메모리 사용량) 최적화에는 확장이 필요하다는 점을 들 수 있다. 향후 연구에서는 다중 보조 LLM 앙상블, 메타‑학습 기반 초기화, 그리고 코드 품질 지표를 포함한 다목표 BO로 확장하는 방향이 제시된다.