다중 마이크로그리드 협력 에너지 스케줄링을 위한 위험 민감 강화학습

초록

본 논문은 분산형 재생에너지 환경에서 다중 마이크로그리드(MG) 간의 협력 스케줄링을 위해 위험 민감 강화학습(RRL‑SM) 프레임워크를 제안한다. 위험‑민감 가치 팩터화와 전역 메모리 공유 메커니즘을 결합해 개별 MG의 위험 행동을 전역 위험 목표와 정렬시키며, 명시적 통신 없이도 효율적인 협업을 구현한다. 시뮬레이션 결과, 부하 차단 위험을 84.5% 감소시키는 등 신뢰성과 경제성 사이의 균형을 크게 향상시켰다.

상세 분석

이 연구는 기존 다중 에이전트 강화학습(MARL) 접근법이 갖는 두 가지 근본적인 한계를 극복한다. 첫 번째는 위험 측정이 기대값 기반으로만 이루어져 개별 에이전트와 전체 시스템 위험 간의 정량적 연관성을 파악하지 못한다는 점이다. 저자는 분포형 가치 함수(distributional modeling)를 도입해 각 MG의 반환(return) 분포를 추정하고, 이를 다중 헤드 어텐션 기반 믹서 네트워크에 입력함으로써 개별 위험과 전역 위험 사이의 매핑을 동적으로 학습한다. 어텐션 가중치는 시스템 상태에 따라 변하며, 위험이 높은 MG에게 더 큰 기여도를 부여해 위험‑민감 가치 팩터화를 실현한다. 두 번째 한계는 에이전트 간 명시적 통신이 스케일링에 병목이 된다는 것이다. 저자는 전역 메모리 공간을 도입해 각 MG가 자신의 관측값을 메모리에 기록하고, 다른 MG는 이를 비동기적으로 읽어들여 암묵적인 정보 교환을 수행한다. 이 메커니즘은 네트워크 지연과 대역폭 소모를 최소화하면서도 실시간 협업을 가능하게 한다.

알고리즘적으로는 중앙집중식 훈련(CTDE) 구조를 유지하면서, 정책 그래디언트는 위험‑민감 가치 팩터화에 의해 보정된다. 구체적으로, 개별 가치 함수 V_i는 전역 위험 CVaR(Conditional Value at Risk)과 연계된 보상 구조를 사용해 학습되며, Shapley Value 기반 비용 할당을 통해 각 MG의 기여도를 공정하게 평가한다. 이는 에이전트가 단기 경제적 이익보다 전역 위험 감소에 기여하도록 유도한다.

시뮬레이션 설정은 실제 전력 시스템 파라미터를 반영한 다중 MG 시나리오이며, PV 출력 및 부하 변동성을 다중 시나리오로 모델링한다. 결과는 기존 QMIX, VDN 등 가치 팩터화 기반 MARL과 비교했을 때, 부하 차단 발생 빈도가 현저히 낮고, 전체 운영 비용도 7~12% 절감됨을 보여준다. 특히, 전력망 전송 용량 제한으로 인한 부하 차단 위험을 84.5% 감소시킨 점은 위험‑민감 설계의 효과를 명확히 증명한다.

이 논문의 주요 기여는 (1) 위험‑민감 가치 팩터화 스킴을 통해 개별·전역 위험 관계를 정량화하고, (2) 전역 메모리 기반 암묵적 협업 메커니즘을 도입해 통신 오버헤드를 최소화하며, (3) Shapley Value를 활용한 공정 비용 할당으로 에이전트 간 협력 유인을 강화한 점이다. 이러한 설계는 재생에너지 비중이 높은 미래 전력망에서 다중 마이크로그리드의 신뢰성·경제성을 동시에 확보하는 실용적 솔루션을 제공한다.