위상인식 그래프 강화학습 기반 에너지 저장시스템 최적 디스패치

초록

본 논문은 배전망의 위상 변화와 전압 보안을 동시에 고려한 에너지 저장시스템(ESS) 최적 디스패치를 위해, TD3 기반 강화학습에 그래프 신경망(GCN, TAGConv, GAT)을 결합한 위상인식 아키텍처를 제안한다. 34‑버스와 69‑버스 시스템에서 다양한 재구성 시나리오와 시스템 간 제로샷 전이 실험을 수행했으며, GNN 기반 컨트롤러가 전압 위반 횟수와 규모를 현저히 감소시키고, 특히 69‑버스에서 비용 절감 효과도 NN 기반 베이스라인을 능가함을 확인하였다.

상세 분석

이 연구는 배전망 운영에서 ESS의 충·방전 결정을 실시간으로 최적화해야 하는 문제를 MDP로 정형화하고, 연속적인 행동 공간을 다루는 TD3( Twin Delayed Deep Deterministic Policy Gradient) 알고리즘을 기본 프레임워크로 채택하였다. 핵심 혁신은 상태·행동 정보를 그래프 형태로 인코딩하는 GNN 모듈을 비대칭 actor‑critic 구조에 삽입한 점이다. 구체적으로, 그래프의 노드에는 배전망 버스와 ESS 정보를, 엣지에는 라인 임피던스와 연결 정보를 부여하고, GCN, TAGConv, GAT 세 가지 그래프 컨볼루션 방식을 각각 시험하였다. Actor는 ESS가 설치된 노드의 임베딩만을 사용해 개별 배터리의 충·방전 파워를 출력하고, Critic은 전체 네트워크 임베딩을 전역 풀링하여 보상(전기료 절감 + 전압 위반 페널티)을 추정한다.

실험 설계는 두 가지 규모(34‑버스, 69‑버스)와 다중 위상 재구성(스위치 개폐에 따른 라인 추가·삭제) 상황을 포함한다. 각 시나리오에서 GNN‑TD3 컨트롤러를 기존 NN‑TD3와 NLP(비선형 프로그래밍) 최적해와 비교하였다. 결과는 다음과 같다. 첫째, GNN 기반 정책은 전압 위반 횟수를 평균 30 % 이상 감소시켰으며, 위반 규모(전압 편차)도 크게 축소했다. 특히 69‑버스 시스템에서는 GCN과 TAGConv이 비용 절감 측면에서 NN‑TD3보다 2–3 % 더 낮은 총 운영비용을 기록했다. 둘째, 위상 재구성에 대한 강인성 테스트에서 GAT은 가장 높은 적응성을 보였지만, 전체적인 성능 차이는 미미했다. 셋째, 시스템 간 제로샷 전이 실험에서는 동일 규모(34→34, 69→69)에서는 약간의 성능 향상이 있었으나, 규모가 다른 경우(34→69, 69→34)에는 급격한 성능 저하와 전압 위반 증가가 관찰되었다. 이는 GNN이 노드 특성 정의는 공유하지만, 그래프 구조 자체가 크게 달라질 때는 재학습이 필요함을 시사한다.

또한, 논문은 학습 효율성 측면에서도 장점을 제시한다. 그래프 기반 메시지 패싱은 희소 연결성을 활용해 파라미터 수를 크게 늘리지 않으면서도 큰 네트워크에 대한 스케일링이 가능했다. 학습 시간은 NN‑TD3 대비 15 % 정도 단축되었으며, 정책 실행은 단일 전방향 패스만으로 실시간(밀리초 수준) 제어가 가능했다. 보상 설계에서는 전기료 절감(ϕ₀)와 전압 위반 페널티(ϕ₁)를 가중치로 조절함으로써 운영자 의도에 맞는 정책 튜닝이 용이했다.

전반적으로 이 연구는 배전망 위상 변동성을 직접 모델링하고, 그래프 구조를 활용해 물리적 연관성을 학습함으로써 기존 NN 기반 강화학습이 갖는 위상 불변성 한계를 극복했다는 점에서 학술적·실무적 의의가 크다. 다만, 시스템 규모가 크게 달라지는 경우 전이 성능이 급격히 저하되는 점은 향후 메타‑학습이나 도메인 적응 기법을 결합해 보완할 필요가 있다.