대규모 최적화 모델 자동 생성: LLM 기반 워크플로우로 효율성 극대화

초록

본 논문은 대규모 최적화 문제의 자동 모델링을 위해 LLM 에이전트들을 조직화하는 LEAN‑LLM‑OPT 프레임워크를 제안한다. 문제 서술과 데이터셋을 입력으로 받아, 두 개의 상위 에이전트가 단계별 워크플로우를 설계하고, 하위 에이전트가 이를 따라 최적화 수식과 파이썬 코드를 생성한다. 대규모‑OR 및 Air‑NRM 벤치마크에서 GPT‑4.1 및 오픈소스 gpt‑oss‑20B 기반 모델이 76 % 이상의 정확도를 달성했으며, 싱가포르 항공사의 수익 관리 사례에서도 경쟁 모델을 앞섰다.

상세 분석

LEAN‑LLM‑OPT은 “Lightweight Agentic Workflow Construction”이라는 이름 그대로, LLM 의 고유한 언어 이해·생성 능력을 구조화된 워크플로우와 결합해 대규모 최적화 모델링의 두 핵심 난제를 해결한다. 첫 번째 난제는 입력 규모가 커짐에 따라 기존 프롬프트 기반 방법이 성능 저하를 겪는 점이다. 논문은 문제 서술과 별도 CSV·데이터베이스 형태의 대용량 데이터를 동시에 처리해야 하는 상황을 가정하고, 이를 ‘데이터 이질성’과 ‘긴 입력 처리’라는 두 축으로 구분한다. 두 번째 난제는 라벨링 비용이 급증하는 파인튜닝 접근법의 비현실성이다. 대규모 최적화 문제는 작은 변형만으로도 전혀 다른 인스턴스로 변할 수 있어, 방대한 라벨링이 필요하게 된다.

LEAN‑LLM‑OPT은 이러한 제약을 에이전트 기반 워크플로우로 회피한다. 먼저 분류 에이전트가 입력을 분석해 문제 유형(예: 네트워크 수익 관리, 자원 할당 등)을 판별한다. 이후 워크플로우 생성 에이전트가 기존 Ref‑Data 에서 유사 사례를 검색·조합해 단계별 절차를 설계한다. 이 절차는 (1) 데이터 전처리·요약, (2) 핵심 변수·제약 식별, (3) 모델 구조 선택, (4) 코드 템플릿 적용·수정 등으로 구분된다. 마지막으로 모델 생성 에이전트는 설계된 워크플로우를 따라가며, 도구 호출(API, 파이썬 스크립트)로 실제 데이터에 접근해 필요한 파라미터를 추출하고, 최종적으로 수학적 모델과 해결 코드(Python + PuLP/ORTools 등)를 출력한다.

핵심 기술적 기여는 다음과 같다. 첫째, 워크플로우를 동적으로 생성함으로써 LLM 이 한 번에 처리해야 하는 토큰 양을 크게 줄이고, 단계별 추론 정확도를 높였다. 둘째, Ref‑Data와 Large‑Scale‑OR이라는 두 규모의 벤치마크를 구축해, 기존 소규모 최적화 데이터셋과 차별화된 ‘대규모’ 특성을 체계적으로 평가했다. 셋째, GPT‑4.1과 오픈소스 gpt‑oss‑20B 두 모델을 동일 파이프라인에 적용해, 모델 크기와 비용 대비 성능을 비교하였다. 실험 결과, 두 모델 모두 100 변수 이상 문제에서 70 % 이상의 정확도를 유지했으며, 특히 GPT‑4.1은 85 %에 육박하는 정확도를 보였다.

실제 산업 적용 사례로 싱가포르 항공사의 선택 기반 수익 관리(Choice‑Based Revenue Management) 문제를 다루었다. 여기서는 요금 종류별 용량 할당과 항공편 네트워크 계획을 동시에 최적화해야 하는 복합 LP 모델을 요구한다. LEAN‑LLM‑OPT은 Air‑NRM‑CA(15개 인스턴스)와 Air‑NRM‑NP(21개 인스턴스) 두 벤치마크에서 평균 최적성 격차를 2 % 이하로 낮추며, 기존 최첨단 방법들을 전반적으로 앞섰다. 또한, Ablation Study를 통해 워크플로우 생성 단계와 데이터 처리 도구가 각각 모델 정확도에 미치는 영향을 정량화했으며, 두 요소를 제거하면 정확도가 15 % 이상 급락함을 확인했다.

전반적으로 LEAN‑LLM‑OPT은 LLM 의 ‘유연성’과 전통적인 ‘구조화된 작업 흐름’을 결합한 새로운 패러다임을 제시한다. 이는 대규모 최적화 모델링을 자동화하면서도, 데이터 규모와 복잡도에 구애받지 않는 확장성을 제공한다는 점에서 학계·산업 모두에 큰 파급 효과를 기대할 수 있다.