마렘: 분산형 지역 에너지 시장을 위한 다중 에이전트 강화학습 시뮬레이션 프레임워크

초록

본 논문은 지역 에너지 시장(LEM)을 부분관측 마코프 결정 과정으로 모델링하고, 이를 Gymnasium 기반의 다중 에이전트 강화학습(MARL) 환경으로 구현한 오픈소스 프레임워크 MARLEM을 제안한다. 핵심은 시스템 수준 KPI를 에이전트의 관찰과 보상에 통합해 명시적 통신 없이도 암묵적 협력을 유도하는 방법이며, 배터리 저장소와 물리적 전력망을 포함한 현실적인 에이전트 모델과 모듈형 시장 청산 메커니즘을 제공한다. 사례 연구를 통해 저장소 배치·시장 규칙 변화가 전체 시스템 효율과 안정성에 미치는 영향을 정량적으로 분석한다.

상세 분석

MARLEM은 분산형 지역 에너지 시장(LEM)을 부분관측 마코프 결정 과정(POMDP)으로 정의함으로써, 각 가정·사업자가 제한된 로컬 정보를 기반으로 의사결정을 내리는 현실 상황을 정확히 재현한다. 기존 MARL 기반 전력 시장 연구는 주로 중앙집중식 관측이나 명시적 협의 프로토콜을 전제로 했지만, MARLEM은 관측 공간에 시스템 전체의 핵심 성능 지표(KPI)—예를 들어 전압 편차, 라인 손실, 전체 비용—를 삽입한다. 이를 통해 에이전트는 자신의 로컬 목표(전력 구매·판매, 배터리 충·방전)와 동시에 시스템 수준 목표를 보상 함수에 반영하게 된다.

프레임워크는 크게 네 가지 모듈로 구성된다. 첫째, 시장 플랫폼은 청산 메커니즘을 플러그인 형태로 교체 가능하도록 설계했으며, 전통적 균형가격 청산, 차등 가격 청산, 그리고 최근 제안된 사회복지 최적화 청산 등을 손쉽게 실험할 수 있다. 둘째, 물리적 제약을 갖는 에이전트 모델은 배터리 저장소의 충·방전 효율, 용량 제한, SOC(상태 of Charge) 동역학을 상세히 구현한다. 셋째, 전력망 네트워크는 IEEE 33‑bus 혹은 실제 지역 배전망 토폴로지를 임포트해 전압·전류 흐름을 시뮬레이션하고, 라인 한계 초과 시 페널티를 부여한다. 넷째, 분석 스위트는 에피소드별 KPI, 에이전트별 정책 수렴도, 시장 가격 변동성 등을 자동으로 수집·시각화한다.

MARLEM의 핵심 기여는 “암묵적 협력(implicit cooperation)”을 촉진하는 보상 설계이다. 전통적인 MARL에서는 에이전트가 자신에게 직접적인 보상만을 최적화하기 때문에, 시스템 전체 효율을 저해하는 경쟁적 행동이 발생한다. 저자들은 시스템 KPI를 보상에 가중치 형태로 포함시켜, 예를 들어 전압 편차가 클 경우 모든 에이전트에게 추가 페널티를 부여한다. 이렇게 하면 개별 에이전트는 로컬 이익을 추구하면서도 전압 안정성을 유지하려는 행동을 자연스럽게 학습한다. 실험 결과, KPI‑보강 보상 구조를 적용한 경우 전력 손실이 평균 12 % 감소하고, 시장 가격 변동성이 18 % 감소했으며, 정책 수렴 속도도 기존 보상 대비 1.5배 빨라졌다.

또한, 저장소 배치 시나리오를 다양화함으로써, 배터리 용량이 충분히 분산될 경우 전력 피크 shaving 효과가 극대화되고, 재생에너지 변동성을 완화한다는 점을 정량적으로 입증한다. 이는 정책 입안자에게 저장소 투자 우선순위와 시장 설계 옵션을 과학적으로 제시할 수 있는 근거를 제공한다.

마지막으로, MARLEM은 완전 오픈소스로 제공되며, Docker 이미지와 상세한 튜토리얼을 포함한다. 이는 재현 가능성을 높이고, 학계·산업 공동체가 새로운 청산 메커니즘, 가격 설계, 혹은 새로운 에너지 자산(예: 전기차 V2G) 등을 손쉽게 플러그인해 실험할 수 있게 한다.