다중에이전트 강화학습으로 보는 장기 전력시장 설계와 탈탄소화

초록

**
본 논문은 독립적인 근접 정책 최적화(PPO)를 이용한 다중에이전트 강화학습 모델을 제시한다. 이 모델은 이탈리아 전력시스템을 간소화한 환경에서 전력 생산 기업들의 투자·운영 결정을 시뮬레이션하고, 다양한 경쟁 수준·시장 설계·정책 시나리오가 탈탄소화와 가격 변동성에 미치는 영향을 분석한다. 결과는 시장 설계가 탈탄소 목표 달성과 가격 안정성 확보에 핵심적임을 보여준다.

**

상세 분석

**
이 연구는 장기 전력시장의 복잡성을 다루기 위해 다중에이전트 강화학습(MARL) 프레임워크를 채택하였다. 각 에이전트는 이윤 극대화를 목표로 하는 발전 기업으로 설정되며, 투자 시점에서 신규 설비 용량을 선택하고, 운영 시점에서는 발전량과 시장 가격에 반응한다. 독립적인 근접 정책 최적화(IPPO)를 사용한 이유는 전통적인 중앙집중식 학습이 실제 전력시장의 분산·경쟁 구조를 반영하기 어렵기 때문이다. 그러나 독립 학습은 비협조적 환경에서 수렴이 불안정할 수 있어, 저자들은 광범위한 하이퍼파라미터 탐색을 수행하였다. 탐색 대상에는 학습률, 클리핑 파라미터, 배치 크기, 탐험 노이즈 등이 포함되며, 각 조합에 대해 시장 균형(가격·거래량·투자 수준)이 경쟁적 행동과 일치하는지를 검증하였다.

시뮬레이션은 이탈리아 전력시스템을 축소·단순화한 모델에 적용되었다. 주요 입력 변수는 연간 전력 수요 프로파일, 기존 발전 설비의 연료·탄소 특성, 재생에너지 가용성, 그리고 정책 신호(탄소 가격, 보조금, 경매 규칙)이다. 실험은 세 가지 차원에서 변화를 주었다. 첫째, 시장 경쟁 정도를 제한(소수 기업)에서 완전 경쟁(다수 기업)까지 조정하였다. 둘째, 시장 설계 요소로는 현물 경매 방식, 장기 계약(전력 구매 계약, PPA) 도입 여부, 그리고 가격 상한·하한 제도 등을 변형하였다. 셋째, 정책 시나리오로는 탄소세 강화, 재생에너지 목표 상향, 그리고 투자 보조금 축소 등을 적용하였다.

결과는 다음과 같은 핵심 인사이트를 제공한다. 경쟁이 심화될수록 기업은 비용 효율적인 설비에 더 빠르게 투자하고, 재생에너지 비중이 상승한다. 그러나 경쟁이 과도하면 가격 변동성이 커져 투자 위험이 증가한다. 시장 설계 측면에서는 현물 경매만을 사용하면 가격 급등·급락이 빈번해 재생에너지 투자 회피 현상이 나타난다. 반면 장기 계약이나 가격 상한·하한 메커니즘을 도입하면 가격 안정성이 확보되고, 기업은 장기적인 탈탄소 투자를 계획하기 쉬워진다. 정책 신호는 가격 메커니즘과 상호작용하면서 효과가 달라진다. 예를 들어, 높은 탄소세만 적용하면 초기에는 화석 연료 설비가 급격히 퇴출되지만, 가격 변동성으로 인해 신규 재생 설비 투자가 지연될 위험이 있다. 반면 탄소세와 동시에 투자 보조금을 병행하면 가격 안정성과 탈탄소 목표 달성을 동시에 달성할 수 있다.

모델의 한계로는 시스템 규모 축소로 인한 현실성 저하, 전력망 제약(전송 손실·망 안정성) 미반영, 그리고 에이전트가 완전 합리적이라고 가정한 점을 들 수 있다. 향후 연구에서는 실제 전력망 흐름을 포함한 고해상도 모델링, 협력적 학습 기법(공동 정책 공유) 도입, 그리고 정책 입안자를 위한 인터페이스 설계 등을 제안한다.

**