프롬프트를 넘어서 고차원 LLM 최적화 도메인 지식 전략 평가

초록

본 논문은 소프트웨어 엔지니어링 최적화에서 LLM이 저차원에서는 좋은 성능을 보이나 차원이 11을 초과하면 베이지안 방법에 뒤처지는 현상을 해결하고자, 인간 전문가와 자동화된 지식 생성 방식을 비교한다. 인간‑인‑루프 도메인 지식 프롬프팅(H‑DKP), 적응형 다단계 프롬프팅(AMP), 차원 인식 점진적 정제(DAPR), 하이브리드 지식‑모델(HKMA) 네 가지 아키텍처를 MOOT 데이터셋의 저·중·고 차원 그룹에 적용해 Chebyshev 거리와 Scott‑Knott 군집을 통해 성능을 평가한다.

상세 분석

이 연구는 LLM 기반 워밍 스타트가 소프트웨어 최적화 문제에서 차원 저주(dimensions barrier)에 봉착한다는 기존 발견을 출발점으로 삼는다. 저차원(≤5)에서는 LLM이 거의 완벽에 가까운 솔루션을 제공하지만, 6~11 차원에서는 성공률이 50% 수준으로 급락하고, 12 차원 이상에서는 베이지안 최적화(GP‑UCB)보다 열등한 결과를 보인다. 저자들은 이러한 현상의 근본 원인을 훈련 데이터의 스파스성으로 규정하고, 도메인 특화 지식을 LLM 프롬프트에 체계적으로 주입하면 고차원에서도 의미 있는 워밍 스타트를 생성할 수 있을 것이라 가정한다.

네 가지 접근법은 지식 주입의 자동화 정도와 인간 개입 수준에 따라 계층화된다. H‑DKP는 전문가가 제시한 제약, 변수 상관관계, 휴리스틱을 단계별로 검증·보강하며, 각 피드백 라운드마다 프롬프트를 재작성한다. 이는 인간의 직관을 최대한 활용하지만, 라운드당 API 토큰 비용과 전문가 응답 지연을 초래한다. AMP는 LLM 자체가 초기 분석→제약 도출→솔루션 생성→검증이라는 순환 과정을 수행하도록 설계돼, 인간 개입 없이도 자체 지식 축적이 가능하도록 한다. DAPR은 고차원 문제를 통계적으로 중요도가 높은 서브셋으로 축소한 뒤, 점진적으로 차원을 확장해가며 LLM이 탐색 공간을 단계별로 학습하도록 한다. 마지막으로 HKMA는 Retrieval‑Augmented Generation(RAG)으로 최신 문서·코드베이스를 검색하고, Tree‑of‑Parzen‑Estimators(TPE)로 얻은 확률적 사전분포를 프롬프트에 삽입해 데이터‑드리븐과 의미‑드리븐 정보를 융합한다.

실험 설계는 MOOT 저장소에서 120개 이상 데이터셋 중 차원별 최소 10개씩을 선정하고, 각 방법을 20번 독립 실행한다. 주요 평가지표는 정규화 후 Chebyshev 거리이며, 보조 지표로 생성된 샘플의 평균 유클리드 거리(다양성)와 API 토큰 사용량(비용)을 기록한다. 통계적 유의성 검증은 Scott‑Knott 군집과 효과 크기(E​SD) 테스트를 이용해, 각 방법이 베이스라인(Random, GP‑UCB, BS_LLM)보다 실질적인 개선을 이루는지를 판단한다.

핵심 결과는 다음과 같다. 고차원(>11)에서 HKMA가 가장 큰 성능 향상을 보였으며, 평균 Chebyshev 거리를 27% 감소시켰다. DAPR은 차원 확장 전략 덕분에 중간 차원에서 안정적인 개선을 제공했으며, AMP는 자동화된 지식 생성에도 불구하고 인간 피드백이 없는 경우 성능이 다소 낮았다. H‑DKP는 인간 전문가가 제공한 정확한 제약이 고차원에서도 일정 수준의 개선을 가능하게 했지만, 라운드당 비용이 가장 높았다. 비용‑효율 분석에서는 HKMA가 토큰당 성능 향상이 가장 높아 실용적이라고 평가된다. 또한, 지식 유형별 기여도 분석에서 구조적 제약과 변수 상관관계가 가장 큰 효과를, 휴리스틱은 보조적 역할을 하는 것으로 나타났다. 마지막으로, 인간 피드백 라운드 수와 성능 향상 사이에는 포화 현상이 관찰돼, 약 7라운드 이후 추가 피드백은 수익 감소를 보였다.

이 논문은 LLM이 고차원 소프트웨어 최적화에 직접적인 학습 능력은 부족하지만, 도메인 지식을 적절히 주입하면 베이지안 방법과 경쟁하거나 이를 보완할 수 있음을 실증한다. 또한, 자동화된 지식 검색·통합(RAG+TPE) 방식이 인간 비용을 크게 절감하면서도 높은 성능을 유지한다는 점에서 향후 실무 적용 가능성을 제시한다.