전력망 관리의 계층적 의사결정과 강화학습

본 논문은 전력망 운영의 복잡성을 두 가지 주요 시간계층—일일계획(Day‑Ahead, DA)과 실시간(RT) 제어—으로 나누어 각각을 별도의 마르코프 결정 과정(MDP)으로 모델링한다. DA‑MDP는 하루 전체의 발전기 가동 여부를 이진 벡터 형태의 행동으로 결정하며, 상태는 각 버스의 예측 수요와 풍력 발전량으로 구성된다. 이 단계의 보상은 직접 관측하기 어려운 장기 신뢰성에 기반하므로, RT‑MDP에서 얻은 신뢰성 가치 함수를 대리 보상으로 활용한다. RT‑MDP는 시간당(보통 1시간) 전력 흐름을 시뮬레이션하고, 운영자가 선택할 수 있는 재배치(Δg) 행동을 통해 라인 과부하나 고장 발생 위험을 최소화한다. 상태는 실시간 수요·풍력, 현재 가동 중인 발전기 출력, 그리고 라인 상태(정상/고장 카운트)로 정의된다. 행동 후에는 포스트‑디시전 상태를 도입해, 외생적인 수요·풍력 변동과 라인 고장 확률(p_i)을 반영한 전이 과정을 거친다. 보상은 해당 시간 단계에서의 신뢰성(예: 정전 여부, 라인 과부하 정도)으로 측정된다. 두 MDP는 상호 의존성을 갖는다. DA‑MDP의 결정이 RT‑MDP에서 허용되는 발전기 집합을 제한하고, RT‑MDP의 가치 함수는 DA‑MDP 정책의 품질을 평가한다. 이를 해결하기 위해 논문은 인터리브드 근사 정책 개선(IAPI) 알고리즘을 제안한다. IAPI는 다음 순서로 진행된다. 1) 현재 DA 정책 π_DA 로부터 하루의 발전기 구성을 샘플링한다. 2) 해당 구성 하에서 RT‑MDP를 여러 시간 단계에 걸쳐 시뮬레이션하고, TD(λ) 혹은 Monte‑Carlo 방법으로 V_RT(s) 를 근사한다. 3) 얻어진 V_RT 를 이용해 정책 평가 단계에서 DA‑MDP의 행동 가치 Q_DA(s,a) 를 계산하고, 정책 개선(예: ε‑greedy 또는 정책 경사 상승)으로 π_DA 를 업데이트한다. 4) 위 과정을 충분히 반복해 정책이 수렴하도록 한다. 알고리즘 구현 시 주요 기술적 선택은 다음과 같다. 첫째, RT‑MDP에서 물리적 제약을 만족시키기 위해 ACPF(Alternating Current Power Flow) 계산을 사용했으며, 이는 비선형 삼각 방정식이므로 직접 최적화는 비현실적이다. 대신 포스트‑디시전 상태를 활용해 행동 후 즉시 물리적 제약을 검증하고, 위반 시 페널티를 부여하는 방식으로 근사한다. 둘째, 수요·풍력 변동은 AR(1) 형태의 랜덤 워크(δ_t+1 = δ_t + ε_t)로 모델링해 실제 시간 시계열 특성을 반영했다. 셋째, 라인 고장은 독립적인 베르누이 확률 p_i 로 가정하고, 고장 발생 시 라인 상태를 카운트다운 방식으로 업데이트해 복구 과정을 단순화했다. 실험은 IEEE RTS‑96 전력망을 기반으로 수행되었다. 이 네트워크는 73버스, 120라인, 33발전기(풍력 포함)로 구성되며, 상태공간 규모는 O(10³⁰⁰), 행동공간은 O(10¹⁰⁰) 수준이다. 논문은 기존 산업 표준인 MIP 기반 N‑1 보안 검증과 비교했으며, 주요 성과는 다음과 같다. • 평균 정전 확률이 기존 휴리스틱 대비 약 15% 감소하였다. • 운영 비용(연료·발전기 가동·재배치 비용) 평균 8% 절감되었다. • 정책 학습은 50일(≈1200시간) 시뮬레이션 데이터만으로도 수렴했으며, 학습 시간은 GPU 가속 하에 몇 시간 내에 완료되었다. • 정책은 다양한 날씨 시나리오와 라인 고장 패턴에 대해 견고한 성능을 유지하였다. 논문의 기여는 네 가지로 정리된다. 1) 두 개의 상호 연결된 MDP를 통해 전력망의 다중 시간계층 의사결정을 정형화하였다. 2) RT‑MDP의 가치 함수를 DA‑MDP 정책 개선에 활용하는 새로운 인터리브드 학습 프레임워크(IAPI)를 제시했다. 3) IEEE RTS‑96 실험을 통해 기존 방법 대비 신뢰성 및 비용 효율성을 실증하였다. 4) 전력 시스템 분야에 강화학습을 적용할 수 있는 시뮬레이션 환경과 코드베이스를 공개함으로써 연구 재현성을 높였다. 한계점으로는 현재 풍력만을 재생에너지로 고려했으며, 태양광·수소·배터리 등 다른 자원의 비선형 특성을 포함하지 않았다. 또한, 정책이 학습된 특정 네트워크 토폴로지에 과적합될 가능성이 있어, 다른 규모·구조의 전력망에 대한 일반화 검증이 필요하다. 향후 연구 방향은 (a) 멀티‑에너지 포트폴리오와 전송망 재구성을 동시에 다루는 확장형 MDP 설계, (b) 전이 학습(transfer learning) 및 메타‑강화학습을 활용해 다양한 전력망에 빠르게 적용 가능한 정책 개발, (c) 실시간 ACPF 근사 기법(예: DC‑approximation, 차원 축소)과 결합해 계산 효율성을 더욱 향상시키는 것이다. 결론적으로, 이 연구는 전력망 관리에 계층적 강화학습 접근법을 성공적으로 적용함으로써, 복합적인 물리·확률·시간 제약을 동시에 고려한 실용적인 의사결정 도구를 제시한다는 점에서 전력 시스템 연구와 강화학습 커뮤니티 모두에 중요한 진전을 제공한다.