전문가 수준 전력계통 최적화 모델링을 위한 LLM 벤치마크 ProOPF

초록

본 논문은 재생에너지 확대와 불확실성 증가로 복잡해진 전력계통 운영에 대응하기 위해, 자연어(NL) 요구사항을 OPF(Optimal Power Flow) 모델로 자동 변환하는 대형 언어 모델(LLM) 평가용 데이터셋 ProOPF‑D와 벤치마크 ProOPF‑B를 제안한다. 12,000개의 수정 기반 샘플과 121개의 전문가 검증 테스트케이스를 통해 파라미터 변동·구조적 확장 등 네 단계 난이도를 정의하고, 기존 벤치마크 대비 실제 전력계통 물리적 일관성을 엄격히 검증한다. 실험 결과, 최신 LLM도 기존 벤치마크에서는 90% 이상의 정확도를 보이지만 ProOPF‑B에서는 30% 이하로 급락, 도메인 특화 모델링 능력의 한계를 드러낸다.

상세 분석

ProOPF 논문은 전력계통 최적화, 특히 OPF 모델링을 LLM이 자동화하도록 평가하는 최초의 도메인‑특화 벤치마크를 제시한다는 점에서 학술적·산업적 의의가 크다. 먼저 기존 NL‑to‑Optimization 벤치마크(NL4Opt, MAMO, OptiBench 등)는 문제 유형과 규모가 다양하지만, 전력계통 특유의 비선형 전력 흐름 방정식, 열 한계, 전압 구속 등 물리적 제약을 충분히 반영하지 못한다. 이에 저자들은 “수정 기반(modification‑based) 표현”을 도입해, 모든 인스턴스를 하나의 표준 OPF 베이스 모델(Q₀) 위에 파라미터 패치(Δπ)와 구조적 연산자(s)만을 적용하는 형태로 정의한다. 이는 (i) 모델 전체를 재생성할 필요 없이 변동 부분만을 학습·평가하게 해 오류 전파를 최소화하고, (ii) 물리적 일관성을 보장하기 위해 전문가가 사전 정의한 파라미터·구조 수정 집합(Ωπ, Ωs)을 사용함으로써 물리법칙 위반을 사전에 차단한다는 장점을 가진다.

난이도 설계는 두 축, “파라미터 명시 여부”(explicit vs. inferred)와 “구조적 확장 필요 여부”(none vs. required)를 교차시켜 4단계(Level 1~4)로 구분한다. Level 1은 명시적 파라미터 변경만, Level 2는 파라미터 추론을 포함, Level 3은 구조적 확장을 추가, Level 4는 파라미터 추론과 구조적 확장을 동시에 요구한다. 이러한 단계적 설계는 실제 운영 상황에서 요구되는 모델링 복잡도를 체계적으로 측정할 수 있게 한다.

데이터 생성 파이프라인은 모델‑중심 접근을 채택한다. 먼저 베이스 OPF 모델을 정의하고, 전문가가 설계한 파라미터 패치와 구조 연산자를 조합해 자동으로 인스턴스를 생성한다. 각 인스턴스는 (P) 자연어 요구사항, (M) 모델 사양, (I) 실행 가능한 파이썬/Julia 코드로 구성되며, 물리적 제약을 만족하도록 검증된다. 특히 파라미터 패치는 “component type, target identifier, operation, value” 형태의 튜플로 구조화돼, LLM이 구문적·의미적 추론을 수행하기에 적합한 형태다.

벤치마크 ProOPF‑B는 문헌에서 선정된 121개의 실제 OPF 변형 사례를 전문가가 주석 달아 만든 것으로, 각 사례마다 정답 코드와 평가 프로토콜이 제공된다. 평가 프로토콜은 “구체적(concrete) 모델링”과 “추상적(abstract) 모델링” 두 모드로 나뉘며, 전자는 완전한 실행 코드 일치, 후자는 모델 구조·목표 함수·제약 조건의 논리적 일치만을 검증한다. 실험에서는 GPT‑4, Claude‑Sonnet, DeepSeek‑3.2 등 최신 LLM을 테스트했으며, 기존 벤치마크에서는 85‑95% 수준의 정확도를 보였지만 ProOPF‑B에서는 평균 28% 이하, 특히 Level 4에서 12%에 불과했다. 이는 LLM이 전력계통 특유의 비선형 물리와 복합 제약을 이해·반영하는 데 아직 한계가 있음을 명확히 보여준다.

논문의 기여는 (1) 전력계통 OPF에 특화된 대규모 수정‑기반 데이터셋과 벤치마크 제공, (2) 물리적 일관성을 보장하는 파라미터·구조 수정 집합 정의, (3) 난이도별 평가 프로토콜을 통한 정량적 모델링 역량 측정, (4) 기존 LLM의 도메인 한계 진단이다. 향후 연구는 (i) 물리‑인식 프롬프트 설계, (ii) 구조적 수정에 대한 체계적 토큰화, (iii) 도메인‑특화 사전학습(예: 전력계통 데이터) 등을 통해 LLM의 전력계통 모델링 능력을 향상시키는 방향으로 진행될 수 있다.