제약 다목표 역설계에서 생성형 AI와 베이지안 최적화 비교

초록

본 논문은 물성‑구조 역설계 문제에서 제약이 있는 다목표 최적화를 수행하기 위해, 최신 베이지안 최적화 프레임워크와 파라미터 효율적 미세조정(PEFT)된 대형 언어 모델(LLM)을 비교한다. BoTorch qEHVI는 완벽한 수렴(GD=0.0)을 보이며 성능 상한을 제시하고, 최상위 LLM인 WizardMath‑7B는 GD=1.21로 기존 BoTorch Ax(GD=15.03)보다 월등히 우수한 결과를 얻었다. 결과는 BO가 보장된 수렴을 제공하지만, LLM 기반 생성 최적화가 계산 효율성과 실용성 측면에서 유망함을 시사한다.

상세 요약

이 연구는 고차원 연속 공간에서 제약을 만족하면서 다목표 파레토 전선을 탐색해야 하는 역설계 문제를 대상으로 한다. 전통적인 베이지안 최적화는 가우시안 프로세스(GP) 기반 모델링과 획득 함수(예: q‑Expected Hypervolume Improvement, qEHVI)를 통해 샘플 효율성을 극대화한다. BoTorch Ax와 BoTorchM(qEHVI) 구현을 비교했을 때, qEHVI는 탐색‑활용 균형을 최적화하여 0.0의 Generational Distance(GD)를 달성, 이론적 최적해에 정확히 수렴함을 확인했다.

한편, LLM 기반 접근은 텍스트‑숫자 변환 파이프라인을 활용해 회귀 문제로 재구성하고, 파라미터 효율적 미세조정(LoRA, Prompt‑Tuning 등)으로 모델 크기를 크게 늘리지 않으면서도 도메인 특화 데이터를 학습한다. 출력 헤드에 연속형 벡터를 직접 예측하도록 설계하고, 제약 조건은 손실 함수에 페널티 형태로 포함시켰다. 실험에 사용된 모델은 GPT‑계열 WizardMath‑7B, LLaMA‑2‑7B, 그리고 BERT 변형 등이며, 모두 동일한 학습 스케줄과 배치 크기로 훈련되었다.

성능 평가에서 LLM은 샘플당 추론 시간이 BO에 비해 수십 배 빠르며, 특히 대규모 병렬 추론 환경에서 효율성을 크게 향상시킨다. 그러나 GD가 1.21에 머무른 것은 아직 파레토 전선 근처에서 완전한 탐색을 보장하지 못함을 의미한다. 이는 LLM이 내부적으로 연속 공간을 직접 모델링하지 않고, 텍스트 기반 토큰화와 임베딩을 통해 근사하기 때문에 발생하는 한계로 해석된다. 또한, 제약 만족률은 BO에 비해 약간 낮았으나, 전체적인 성공률은 실용적인 수준을 유지했다.

이 논문은 두 접근법의 트레이드오프를 명확히 제시한다. BO는 수렴 보장과 제약 처리에 강점이 있지만, 고비용의 모델 업데이트와 샘플링 비용이 큰 반면, LLM은 빠른 추론과 범용성, 그리고 기존 언어 기반 파이프라인과의 손쉬운 통합이 장점이다. 향후 연구는 LLM의 연속형 표현 학습을 강화하고, 제약을 직접적인 구조화(예: 라그랑주 승수) 방식으로 통합하는 방법을 모색함으로써 BO 수준의 수렴을 달성할 가능성을 제시한다.