생성 모델 기반 제로오더 최적화를 위한 거친 학습 가능성 이론

초록

본 논문은 복합 제약을 갖는 제로오더 최적화 문제를, 사전 확률을 제공하는 대형 생성 모델(예: LLM)과 결합해 해결한다. 저자는 “거친 학습 가능성(coarse learnability)”이라는 새로운 가정을 도입해, 다항 개수의 샘플만으로 목표 분포를 다항 배율로 근사할 수 있음을 보인다. 이를 기반으로 메트로폴리스-헤스팅스 보정과 온도 조절을 이용한 ALDRIFT 알고리즘을 설계하고, 다항 샘플 복잡도 하에 목표 분포에 수렴함을 증명한다. 또한 MLE가 이 가정을 만족한다는 이론적 근거와, LLM을 활용한 조합 최적화 실험을 통해 실용성을 입증한다.

상세 분석

이 논문은 제로오더 최적화(zero‑order optimization)와 대형 생성 모델(특히 LLM)의 결합이라는 새로운 연구 영역을 개척한다. 기존 모델 기반 최적화(Model‑Based Optimization, MBO) 이론은 주로 자연 지수족(Natural Exponential Families)이나 엄격한 구조적 가정에 의존해 asymptotic 수렴을 보였으며, 샘플 복잡도에 대한 정량적 보장은 거의 없었다. 저자는 이러한 한계를 극복하기 위해 “거친 학습 가능성(coarse learnability)”이라는 통계적 커버리지 가정을 제시한다. 이 가정은 다음을 요구한다: 현재 모델이 목표 분포와 충분히 겹치는 영역을 다항 개수의 샘플로 탐색하면, 학습자는 목표 밀도와 다항 배율 이내로 점별 근사하는 새로운 모델을 얻을 수 있다(오류 집합은 지수적으로 작다).

이 가정을 바탕으로 제안된 ALDRIFT(Algorithm‑LLM Driven Iterated Fine‑Tuning) 알고리즘은 온도 파라미터 τ를 점진적으로 증가시켜 p_τ(s) ∝ L(s)·e^{‑τ·d(s)} 라는 중간 목표 분포를 만든다. 각 단계에서 현재 학습된 모델을 제안 분포로 사용하고, 메트로폴리스‑헤스팅스(MH) 수용률을 통해 정확히 정규화되지 않은 목표 분포에서 샘플을 얻는다. MH는 상대적 확률비만 필요하므로, 초기 사전 L과 목표 p_T가 지수적으로 차이 나더라도 샘플 효율성을 유지한다. 얻은 샘플을 이용해 모델을 다시 fine‑tune함으로써 다음 온도 단계에서의 제안 품질을 향상시킨다.

이론적 분석에서는 (1) 거친 학습 가능성 하에, 각 온도 단계에서 필요한 샘플 수가 다항 시간(poly(m))임을 보이고, (2) 전체 알고리즘이 목표 분포 p_T에 총 다항 샘플 복잡도로 수렴함을 증명한다. 특히, MLE가 제공하는 “커버리지 엔벨로프(coverage envelope)” 특성을 이용해, 모델이 과소 지정(misspecified)된 경우에도 목표 지원(support)을 충분히 포괄하도록 만든다. 이는 기존 MBO가 요구하던 정확한 밀도 추정보다 훨씬 약한 조건이다.

실험 부분에서는 GPT‑2와 최신 LLM을 사용해 스케줄링, 경로 찾기, 스패닝 트리 문제 등에 ALDRIFT를 적용한다. LLM은 로컬 제약(예: 경로의 풍경성, 회의 발표 시간) 을 사전으로 제공하고, d(s) 는 전역 제약(연결성, 대기 시간) 을 측정한다. 몇 번의 fine‑tuning 후, 모델은 전역 제약을 만족하면서 로컬 품질을 유지하는 솔루션을 생성한다는 점에서 거친 학습 가능성 가정이 실제 모델에도 어느 정도 적용 가능함을 보여준다.

전체적으로 이 논문은 (i) 깊은 생성 모델에 대한 새로운 학습 가능성 가정을 제시하고, (ii) 그 가정 하에 메트로폴리스‑헤스팅스를 결합한 샘플 효율적인 알고리즘을 설계했으며, (iii) 다항 샘플 복잡도 보장을 제공함으로써 기존 MBO 이론을 크게 확장했다는 점에서 큰 의의를 가진다. 또한 LLM‑기반 제로오더 최적화라는 실용적 응용 가능성을 실험적으로 입증함으로써, 앞으로 AI‑기반 최적화 연구에 중요한 이정표가 될 것으로 기대된다.