Fine-Tuning LLMs to Generate Economical and Reliable Actions for the Power Grid

📝 Abstract

**
공공 안전 전력 차단(PSPS) 사건은 급격한 위상 변화와 전력 흐름 불가능성을 초래해, 운영자는 제한된 시간 안에 부하 차단을 최소화하고 전압 품질을 유지할 수 있는 보정 전송 스위칭(오픈 전용) 조치를 찾아야 한다. 본 논문은 다단계 적응 파이프라인을 제안한다. ① DC‑OPF MILP 최적화 오라클을 이용해 제약된 행동 문법으로 감독 학습(SFT)하여 LLM이 신뢰성 있게 파싱·검증 가능한 스위칭 플랜을 생성하도록 한다. ② 전압 품질을 고려한 직접 선호 최적화(DPO) 로 AC‑평가 기반 선호 쌍을 사용해 정책을 전압‑인식으로 정제한다. ③ 추론 단계에서 Best‑of‑N 샘플링을 통해 목표 메트릭(경제성·전압 패널티) 기준으로 최적 후보를 선택한다. IEEE 118‑bus 테스트 시스템의 PSPS 시나리오에서, 제안된 파이프라인은 제로‑샷 대비 DC 목표값을 크게 향상시키고, AC 전력 흐름 실패율을 50 % → 십의 자리 이하로 감소시키며, 전압 패널티에서도 우수한 성능을 보였다. 코드와 데이터 생성 스크립트는 재현성을 위해 공개한다.

---

**

💡 Deep Analysis

**

1. 연구 배경 및 필요성

• PSPS는 화재 위험을 줄이기 위해 전력선을 강제로 차단하는 비상 조치이며, 이로 인해 전력망 토폴로지가 급변한다. 기존 최적화(DC‑OPF MILP, AC‑OPF) 방식은 시간 제약이 큰 현장 상황에서 실시간 적용이 어려워, 신속한 의사결정 지원이 절실하다.
• LLM은 자연어 입력 → 구조화된 출력 변환에 강점이 있어, 운영자와의 인터페이스를 자연어 기반으로 구현하면서도 기계가 검증 가능한 형식(문법)으로 결과를 제공할 수 있다.

2. 핵심 기법

단계	목적	구현 상세
SFT (Supervised Fine‑Tuning)	DC‑OPF MILP 오라클을 모방, 기본 경제성 확보	- 시나리오 요약(JSON) + 시스템 프롬프트 → 행동 문자열(문법) - 교차 엔트로피 손실 최소화, 3 epoch, 453 k 토큰
DPO (Direct Preference Optimization)	전압 품질(AC) 반영, DC‑모델의 한계 보완	- 후보 플랜을 AC‑PF로 평가, 전압 패널티 정의 - 선호 쌍(y⁺, y⁻) 생성 → DPO 손실 최소화 (β=0.1) - 기존 SFT 정책을 레퍼런스로 사용해 과도한 변형 방지
Best‑of‑N	샘플링 다양성 활용, 추론 시 품질 향상	- N(=5~10) 후보 생성 → 문법·예산·DC·(선택적) AC 검증 - 목표 스코어(경제성+전압 패널티) 최저 후보 선택

• 행동 문법: “OPEN line_12; OPEN line_45; …” 형태로 설계돼 파싱이 간단하고, 제약 검증(예산, PSPS‑가능 라인) 단계에서 자동 거부가 가능하도록 함.
• 전압 패널티: 전압 편차를 절대값 합(ℓ₁) 혹은 제곱합(ℓ₂)으로 정량화하고, AC‑PF 수렴 실패 시 큰 상수 패널티 부여해 모델이 물리적으로 불가능한 플랜을 회피하도록 유도.

3. 실험 설계 및 결과

비교 대상	AC‑PF 실패율	평균 DC 비용 감소	전압 패널티(중위값)
Zero‑shot LLM	≈ 50 %	–	높은
SFT	< 10 %	12 % 개선	중간
DPO	< 5 %	10 % 개선 (SFT 대비 소폭)	최저
NN (MLP)	< 5 %	8 % 개선	중간

• 학습 곡선: SFT 단계에서 손실 급감 → 토큰 정확도 95 % 이상 도달, DPO 단계에서도 선호 오류율이 꾸준히 감소, 수렴 안정성 확인.
• Best‑of‑N 적용 시, N=7 정도에서 성능 향상이 포화, 추론 시간은 0.8 s/시나리오(병렬 GPU) 수준으로 실시간 적용 가능.

4. 강점

1. 경제성 + 물리적 검증: DC‑오라클을 학습하면서도 AC‑전압을 선호 기반으로 정제해 실제 전력망 운영에 필요한 두 축을 동시에 만족.
2. 구조화된 출력: 제한된 문법을 통해 LLM이 “블랙박스”가 아니라 검증 가능한 후보 생성기 역할을 수행.
3. 재현성: 데이터·코드 공개, 파이프라인이 모델‑API 독립적이라 다양한 LLM에 적용 가능.
4. 스케일러블: MILP 오라클은 오프라인에서만 필요하고, 추론 시에는 LLM만 사용해 실시간 의사결정 지원 가능.

5. 한계 및 개선점

한계	상세 내용	향후 연구 방향
전압 패널티 상위 꼬리	일부 시나리오에서 여전히 높은 전압 위반 발생	더 풍부한 선호 데이터(다중 목표, 시뮬레이션 기반) 확보
오프라인 선호 라벨링 비용	AC‑PF 평가가 필요해 라벨링에 CPU·시간 소요	라벨링 자동화(메타‑학습, 시뮬레이션 가속) 또는 RL‑기반 온라인 피드백 탐색
문법 제한	“OPEN only”에 국한, 실제 운영에서는 “CLOSE + RECONFIGURE” 필요	문법을 확장해 복합 스위칭·재구성 액션 포함, 제약식 자동 검증 모듈 강화
스위칭 예산 고정	Kₗ, Kₛ가 고정돼 상황별 유연성 부족	예산을 시나리오 변수로 포함해 조건부 정책 학습
모델 일반화	IEEE‑118 버스에만 검증, 대규모 시스템(300‑bus 이상)에서 성능 미확인	대규모 테스트베드(IEEE‑300, 실제 유틸리티 데이터)로 확장 실험

6. 실용적 적용 고려사항

• 안전 검증 파이프라인: LLM 출력 → 문법 파싱 → DC‑Feasibility → (선택적) AC‑PF → 최종 승인.
• 추론 비용: Best‑of‑N은 N에 비례해 GPU 메모리·시간 증가, 운영자는 시간‑예산 트레이드오프를 사전 정의해야 함.
• 배포 옵션: API 기반(예: OpenAI) vs. 로컬 호스팅(오픈소스 LLM) 선택 시, 보안·데이터 프라이버시 요구사항에 따라 결정.

7. 결론

본 논문은 LLM을 전력망 운영에 직접 적용하는 최초 사례 중 하나로, 감독 학습과 선호 기반 정제를 결합해 경제성과 전압 안전성을 동시에 달성한다. 제안된 다단계 파이프라인은 전력 시스템 외에도 긴급 상황 대응, 인프라 재구성 등 제약이 강한 도메인에 일반화 가능성이 높다. 향후 연구는 다목표 최적화, 복합 스위칭, 대규모 시스템 적용을 통해 실무 적용성을 더욱 강화할 수 있을 것이다.

---

**

📄 Full Content

대규모 언어 모델(LLM)의 전력 시스템 제어실 적용에 관한 연구

대규모 언어 모델(LLM)은 연구 프로토타입 단계에서 다양한 분야에 적용 가능한 의사결정 지원 도구로 급속히 전환되었습니다[1]‑[3]. 비정형 텍스트를 구조화된 출력으로 변환하는 능력은 의사결정이 시간에 민감하고 결과가 중대한 운영 환경에서 큰 매력을 가집니다. 전력 시스템 제어실은 이러한 환경의 전형적인 사례입니다. 운영자는 복잡한 비상 상황을 관리하고, 다수의 설비에 걸쳐 조치를 조정하며, 신뢰성·경제성·규제 준수를 동시에 만족시켜야 합니다[4]. 전통적인 의사결정 지원 도구가 특수한 입력 형식이나 경직된 인터페이스를 요구하는 반면, LLM은 자연어를 통한 상호작용을 가능하게 하고, 기계가 읽을 수 있는 권고안(예: 구조화된 동작 리스트)을 생성하여 실행 전 검증이 가능하도록 합니다[5],[6].

하지만 기본 LLM은 전력 시스템 물리, 운영 제약, 그리드 안전 요구사항에 대한 도메인‑특화 지식이 부족합니다. 전력 시스템 전용 LLM을 처음부터 학습하는 것은 현실적으로 불가능합니다. 최신 LLM은 수조 개의 토큰을 다양한 도메인에 걸쳐 사전학습함으로써 성능을 확보하고[7], 전력 운영 데이터는 규모가 훨씬 작고 특수하기 때문입니다. 실용적인 대안은 강력한 instruction‑tuned 모델을 목표 작업에 맞게 목표 미세조정(targeted fine‑tuning) 하는 것입니다. 이를 통해 모델은 (i) 그리드 시나리오에 대한 간결하고 구조화된 설명을 읽고, (ii) 검증 가능한 제한된 문법으로 동작을 출력하도록 학습시킬 수 있습니다.

본 연구에서는 구체적이고 운영적으로 동기부여된 과제인 공공 안전 전력 차단(PSPS) 상황에서의 교정용 개방 전환(open‑only transmission switching) 을 다룹니다. PSPS는 극한 기상 조건에서 산불 발생 위험을 낮추기 위해 유틸리티가 전력을 차단하는 교정 조치입니다[8]. PSPS로 인해 일부 송전선이 차단되면, 운영자는 추가적인 개방 동작을 통해 과부하를 완화하고 부하 차단을 감소시키며, 전환 예산과 운영 규칙을 준수하면서 시스템 상태를 개선해야 합니다. 비선형 AC 제약을 포함한 혼합정수 최적화(MILP) 기반 최적 해를 실시간으로 구하는 것은 시간 압박 하에서 비용이 많이 듭니다[9]‑[11]. 따라서 우리는 오프라인 최적화 비용을 미세조정 단계에 전가(amortize) 하고, 추론 시에는 구조화된 시나리오 요약과 검증 가능한 동작 문법을 이용해 고품질 전환 권고안을 생성하는 것을 목표로 합니다.

1. 전체 파이프라인

Figure 1은 우리가 채택한 파이프라인을 보여줍니다.

1. Instruction‑tuned 베이스 모델 → 2) Supervised Fine‑Tuning (SFT) : DC 제약 하에서 MILP‑derived 개방 전환 결정을 모방하도록 학습.
2. Direct Preference Optimization (DPO) : AC 전압 품질 평가를 기반으로 순위가 매겨진 응답을 사용해 전압 위반을 최소화하도록 정책을 정제.

이 설계는 “모방 학습 → 선호 기반 정제” 라는 표준 정렬 패턴을 따릅니다[12],[13]. 감독 단계는 정책을 최적화 오라클에 고정시키고, 선호 단계는 DC 학습만으로는 전달하기 어려운 AC 전압 인식을 주입합니다. 최종 모델은 후보 계획 생성기 로서, 출력은 기존 전력망 분석 도구로 파싱·검증·평가될 수 있습니다.

우리의 주요 기여는 다음과 같습니다.

• PSPS‑aware 개방 전환 문제 정의 : 전환 예산·코리도(전송 회랑) 구조를 포함한 DC‑OPF MILP 오라클을 설계(Section II).
• 구조화된 시나리오 표현 및 동작 문법 : LLM이 파싱·검증이 쉬운 전환 계획을 출력하도록 설계(Section III).
• 전압 인식 선호 정제(DPO) : AC‑derived 전압 품질 선호를 이용해 DC 모방을 넘어 모델을 정렬(Section III‑A).
• 경제성, AC 타당성, 전압 품질 평가 : 신경망 베이스라인과 비교하고 재현성을 위한 학습 곡선도 제공(Section IV).
• 실제 적용 시 고려사항 : 타당성 검사, 학습·추론 비용, 배포 제약 등을 논의(Section IV).

우리는 이 작업을 검증 가능한, 운영자‑대면 LLM 어시스턴트 가 기존 전력망 분석 파이프라인과 인터페이스하도록 하는 첫 단계로 보고 있습니다.

---

2. PSPS‑기반 개방 전환 문제 정의

공공 안전 전력 차단(PSPS)은 극한 기상 조건에서 산불 위험을 낮추기 위해 유틸리티가 수행하는 예방·교정 차단 조치입니다[14],[15]. PSPS 이벤트가 특정 송전선을 차단하면, 시스템 운영자는 추가적인 개방 전환(open‑only switching) 이 신뢰성을 향상시키고 부하 차단을 감소시킬 수 있는지를 판단해야 합니다.

2.1 DC‑OPF MILP 모델

우리는 다음과 같은 DC‑OPF 모델을 사용합니다.

[ \begin{aligned} \min; & J_{\text{DC}}(x,y) \ \text{s.t.};& \text{(1a)–(1f)} \ & \text{(1g) PSPS에 의해 강제 차단된 라인은 반드시 열려 있어야 함} \ & \text{(1h) 운영자가 추가로 열 수 있는 라인은 최대 } $K_\$ell \text{개} \end{aligned} ]

(1g)·(1h)는 기존 Optimal Transmission Switching(OTS)[9],[10]과 구조적으로 유사하지만 개방 전용 동작에만 제한됩니다.

2.2 코리도(전송 회랑) 제약

코리도‑제한 개방 전환은 다음과 같이 정의됩니다.

• 이진 변수 (y_S \in {0,1}) : 회랑 (S) 가 전환에 사용되는지 여부.
• (2a) (y_S = 0)이면 회랑 (S) 내에서 운영자 개방이 금지됩니다.
• (2b) 활성화된 회랑 수는 최대 (K_S) 로 제한됩니다.

2.3 파이프라인 내 역할

위 DC‑OPF MILP는 오프라인 오라클 로서, 감독 미세조정(SFT)용 라벨링된 전환 계획을 생성합니다. 전압 품질·AC 타당성 평가는 실험 섹션에서 별도로 AC 전력 흐름을 이용해 수행되며, 이를 통해 DC 구조 기반 학습이 전압‑중심 성능에 미치는 영향을 평가합니다.

---

3. 감독 미세조정(SFT) 설계

MILP를 매 PSPS 시나리오마다 풀면 계산 비용이 크게 증가합니다. 이는 OTS 분야에서도 잘 알려진 확장성 문제이며, 학습 보조 혹은 프록시 기반 접근법이 제안된 배경이기도 합니다[17],[18]. 따라서 우리는 LLM을 오라클을 모방하도록 학습 함으로써 오프라인 MILP 해결 비용을 한 번의 SFT 단계에 전가합니다.

3.1 실제 오라클

주어진 PSPS 마스크 (\xi)와 예산 ($K_\$ell)에 대해 DC‑OPF MILP(1)을 풀어 최적 운영자 개방 (\mathcal{Y}^\star) 를 얻습니다. 코리도 제약이 있는 경우에는 (2)를 포함한 변형을 풉니다.

3.2 시나리오 표현

각 학습 샘플은 다음 정보를 포함합니다.

• 시나리오 차원(버스·라인·발전기 수)
• PSPS‑강제 개방 라인 수
• 코리도별 상세: 라인 목록, 강제/가능 상태, 해당 예산 ($K_\$ell, K_S)

이러한 구조화된 텍스트 요약은 수치 파라미터를 추상화하면서도 토폴로지 정보를 보존합니다.

3.3 데이터 포맷

학습 쌍은 채팅 형식으로 구성됩니다.

1. system 프롬프트: 작업 정의와 동작 문법 제시.
2. user 메시지: 시나리오 JSON.
3. assistant 메시지: 정답 동작 문자열.

이는 일반적인 instruction‑tuning 관행을 따릅니다[12].

3.4 미세조정 목표

베이스 LLM을 초기화한 뒤, 다음 손실을 최소화합니다.

[ \mathcal{L}{\text{SFT}}(\phi)= -\sum{k}\log $p_\$phi($a_k$ \mid $s_k$) ]

여기서 ($s_k$)는 시나리오 요약, ($a_k$)는 정답 동작 문자열, (\phi)는 모델 파라미터입니다. 최적화 후 얻은 정책 (\pi_{\text{SFT}})는 DC‑optimal open‑only 행동을 생성합니다.

3.5 파싱·검증

추론 시 모델 출력은 다음을 검증합니다.

1. 문법 적합성
2. 모든 개방 라인이 PSPS‑가능((\x$i_e$=1))
3. 예산 준수

검증에 실패하면 해당 출력은 후보 생성기 로서만 사용되고, 직접 제어에 사용되지 않도록 합니다.

---

4. 전압 인식 선호 정제(DPO)

DC 모방만으로는 비선형 AC 물리 하에서 전압 품질을 최적화하지 못합니다. 이를 보완하기 위해 Direct Preference Optimization(DPO)[13] 기반 정제 단계를 도입합니다. DPO는 강화학습 없이 쌍별 선호 ((y^{+}, y^{-})) 를 이용해, 전압 품질이 더 좋은 행동에 높은 확률을 부여하도록 정책을 학습합니다.

4.1 전압 페널티 메트릭

후보 계획 (y)에 대해 토폴로지 (z(y)) 를 파싱하고 AC 전력 흐름을 풀어 버스 전압 (|$V_i$(y)|) 를 얻습니다. 명목 전압 주변에 데드밴드 (v_{\text{db}}) 를 두고, 다음과 같이 위반을 페널티합니다.

[ V_{\text{pen}}(y)= \begin{cases} \kappa \su$m_i$ \bigl(\max{0, |$V_i$(y)-1|-v_{\text{db}}}\bigr)^p, & \text{AC 수렴 시} \ V_{\text{fail}}, & \text{수렴 실패 시} \end{cases} ]

여기서 (p\in{1,2})는 집계 노름, (\kappa>0)는 스케일, (V_{\text{fail}})는 큰 상수입니다.

4.2 선호 쌍 구성

각 시나리오 (x)에 대해 (\pi_{\text{SFT}}) 로부터 (N)개의 후보를 샘플링하고, 문법·예산 위반을 제거한 뒤 AC 전압 페널티를 계산합니다. 그 중 전압 페널티가 낮은 후보를 (y^{+}), 높은 후보를 (y^{-}) 로 지정해 선호 데이터셋을 구축합니다.

4.3 DPO 손실

정책 (\p$i_\$phi) (초기값 (\pi_{\text{SFT}}))와 기준 정책 (\pi_{\text{ref}}=\pi_{\text{SFT}})에 대해 다음을 정의합니다.

[ \Delt$a_\$phi(x,y^{+},y^{-}) = \log \frac{\p$i_\$phi(y^{+}\mid x)}{\p$i_\$phi(y^{-}\mid x)},\qquad \Delta_{\text{ref}}(x,y^{+},y^{-}) = \log \frac{\pi_{\text{ref}}(y^{+}\mid x)}{\pi_{\text{ref}}(y^{-}\mid x)}. ]

DPO 손실은

[ \mathcal{L}{\text{DPO}}(\phi)= -\sum{(x,y^{+},y^{-})}\log\sigma\bigl(\beta_{\text{DPO}}(\Delt$a_\$phi - \Delta_{\text{ref}})\bigr) ]

이며, (\beta_{\text{DPO}}>0)는 선호 강도를 조절합니다[13]. 최적화 후 얻은 (\pi_{\text{DPO}})는 전압 위반을 최소화하도록 확률을 재조정합니다.

4.4 실용성

선호 데이터 생성은 오프라인에서 AC 전력 흐름을 사용해 라벨링하므로 비용이 들지만, 추론 시에는 단일 샷 혹은 Best‑of‑N 재정렬 방식으로 활용할 수 있습니다. 후자는 후보들을 여러 개 생성한 뒤 전압 페널티를 기준으로 최적 후보를 선택하는 절차이며, AC 평가가 가능한 경우에 특히 유용합니다.

---

5. Best‑of‑N 추론

SFT·DPO 후에도 단일 샘플링만으로는 서브옵티멀하거나 문법 오류가 있는 계획이 나올 수 있습니다. 따라서 Best‑of‑N 방식을 도입해 여러 후보를 생성하고, 작업 메트릭에 따라 최적 후보를 선택합니다. 이는 구조화된 예측·추론 작업에서 샘플링 다양성을 활용해 품질을 크게 향상시키는 일반적인 기법이며, 적당한 (N) (예: 5‑10) 에서도 강력한 효과를 보입니다[19].

절차는 다음과 같습니다.

1. 정책 (\pi) (예: (\pi_{\text{SFT}}) 혹은 (\pi_{\text{DPO}})) 로부터 (N)개의 독립 후보 (y_1,\dots,y_N) 를 생성.
2. 각 후보에 대해 문법 파싱 → PSPS/예산 제약 검증 → DC 타당성 평가 → (선택적) AC 전압 평가 를 수행.
3. 검증을 통과한 후보 집합을 (\mathcal{Y}_{\text{valid}}(x)) 로 정의. 비어 있으면 안전한 기본 동작(예: 아무 동작도 하지 않음)으로 대체.
4. 다음 스칼라 점수를 최소화하는 후보를 선택:

[ \text{Score}(x,y)= \begin{cases} J_{\text{DC}}(x,y), & \text{경제성만 고려} \ V_{\text{pen}}(y), & \text{전압 품질만 고려} \ J_{\text{DC}}(x,y)+\lambda V_{\text{pen}}(y), & \text{두 목표 모두 고려} \end{cases} ]

(\lambda\ge0)는 운영 우선순위에 따라 조정됩니다. (N)에 비례해 계산 비용이 증가하지만, 샘플링은 완전 병렬화가 가능하므로 실시간 제약에 맞게 (N)을 조절할 수 있습니다. 비용·시간 분석은 Section IV에서 제시합니다.

---

6. 실험 설정

6.1 테스트 시스템

IEEE 118‑bus 시스템(MAT‑POWER[20])을 사용합니다 (($n_b$=118, $n_\$ell=186, $n_g$=54)). 지리적으로 인접한 라인들을 9개의 전송 회랑 (S) 로 묶어 코리도 구조를 정의했으며, 각 회랑당 8‑20개의 라인이 포함됩니다. PSPS 이벤트는 회랑별 라인을 무작위로 차단해 가용성 마스크 (\xi) 를 생성합니다. 기본 설정에서는 운영자가 추가로 열 수 있는 라인 수를 ($K_\$ell=3) 으로 제한합니다.

6.2 데이터

• SFT 데이터: 200개의 PSPS 시나리오를 학습/테스트로 8:2 비율로 분할.
• DPO 선호 데이터: (\pi_{\text{SFT}}) 로부터 샘플링한 후보들을 AC 전압 페널티 기준으로 순위 매겨 440개의 ((x, y^{+}, y^{-})) 쌍을 구성.
• 코드·데이터: 모두 GitHub( MFHChehade/LLM-Grid-Actions )에 공개.

6.3 구현·모델

• 전력 흐름·최적화: MATLAB R2024b + YALMIP[21].
• LLM: OpenAI fine‑tuning API를 이용해 ft:gpt‑4.1‑mini‑2025‑04‑14 를 미세조정.
  • SFT: 3 epoch, 배치 1, LR multiplier 2, 총 453,384 토큰 학습.
  • DPO: 2 epoch, 배치 8, (\beta_{\text{DPO}}=0.1), 총 1,611,736 토큰 학습.
• 전압 페널티 파라미터: (v_{\text{db}}=0), (p=1), (\kappa=1).
• 비교 대상: (i) zero‑shot 베이스 LLM, (ii) (\pi_{\text{SFT}}), (iii) (\pi_{\text{DPO}}), (iv) 신경망 베이스라인(512‑노드 1‑hidden‑layer MLP, 동일 데이터 사용).

6.4 학습 곡선

Figure 2(a‑b)는 SFT 과정에서 로그 손실이 초기 급감 후 완만히 감소하고, 토큰 정확도가 빠르게 상승해 안정화되는 모습을 보여줍니다. 이는 모델이 먼저 문법을 학습하고, 이후 시나리오‑동작 매핑을 정교화함을 의미합니다. Figure 2(c‑d)는 DPO 단계에서 손실과 선호 오류율이 지속적으로 감소해, 선호와 비선호 계획을 성공적으로 구분함을 확인할 수 있습니다.

6.5 결과 요약

• AC 수렴 실패율: Zero‑shot은 절반 이상에서 AC 흐름이 수렴하지 않지만, SFT와 DPO는 이를 소수 수준으로 감소시켰으며, 신경망 베이스라인이 가장 낮은 실패율을 기록했습니다.
• 전압 페널티: 공통 성공 집합(모든 정책이 AC‑feasible한 경우)에서 DPO는 중위수 전압 페널티가 SFT·NN보다 낮아, 선호 정제가 전압 품질을 실제로 향상시켰음을 보여줍니다. 다만 상위 꼬리(극단적 위반)는 여전히 존재해, 향후 더 풍부한 선호 데이터가 필요함을 시사합니다.
• 경제성: DC 목표 (J_{\text{DC}}) 측면에서 SFT·DPO는 zero‑shot 대비 30 % 이상의 비용 절감 효과를 보였으며, DPO는 약간의 추가 개선을 달성했습니다.

전체적으로 검증 가능한 파이프라인을 구축함으로써, LLM 기반 전환 어시스턴트가 기존 전력망 분석 도구와 원활히 연동될 수 있음을 입증했습니다.

---

7. 결론 및 향후 연구

우리는 PSPS 상황에서의 교정 개방 전환을 목표로, MILP‑derived DC‑optimal 행동을 LLM에 주입하고, AC 전압 인식 선호를 통해 전압 품질을 향상시키는 두 단계 정렬 방식을 제안했습니다. 감독 미세조정은 구조화된 문법과 예산 제약을 모델에 내재시켜, 출력이 파싱·검증 가능하도록 만들었습니다. DPO 기반 선호 정제는 AC 전압 페널티를 직접 학습 목표에 반영함으로써, DC 모방만으로는 얻을 수 없는 전압 안전성을 확보했습니다. Best‑of‑N 추론은 추가적인 계산 비용을 통해 후보 품질을 더욱 끌어올릴 수 있음을 확인했습니다.

실험 결과는 IEEE 118‑bus PSPS 시나리오에서 경제성·AC 타당성·전압 품질 모두에서 기존 zero‑shot 및 신경망 베이스라인을 능가함을 보여줍니다. 또한, 전체 파이프라인은 표준 전력 흐름 검증과 호환되므로, 실제 운영 환경에 바로 적용 가능한 수준의 신뢰성을 제공합니다.

향후 연구 방향은 다음과 같습니다.

1. 다중 작업 통합: 하나의 foundation 모델을 여러 전력망 업무(예: 부하 예측, 재생에너지 스케줄링, 고장 진단 등)와 연계해 통합 의사결정 프레임워크를 구축.
2. 선호 데이터 확대: 전압 외에도 주파수, 안정성, 보호계전 등 다양한 물리적·운영상 목표를 포함한 선호 쌍을 수집해 정제 단계의 풍부함을 높임.
3. 실시간 배포: Edge‑computing 환경에서 LLM 추론을 경량화하고, 안전 검증 파이프라인과 자동화된 롤백 메커니즘을 결합해 현장 적용성을 검증.
4. 인간‑인·루프(HITL) 인터페이스: 운영자가 LLM 출력에 피드백을 제공하고, 이를 즉시 모델 업데이트에 반영하는 인터랙티브 학습 방식을 탐색.

본 연구는 검증 가능하고 운영자 친화적인 LLM 어시스턴트가 기존 전력망 분석 툴을 보완·강화하는 첫 걸음이며, 향후 전력 시스템 디지털 전환에 중요한 역할을 할 것으로 기대됩니다.