배터리 플릿의 손실 최소화를 위한 강화학습 기반 주파수 조절

초록

본 논문은 이질적인 배터리 집합을 실시간으로 스케줄링하여 주파수 조절 신호를 추적하면서 사이클링에 의한 열화(Degradation)를 최소화하는 방법을 제시한다. 비마코프적 사이클링 손실을 마코프 의사결정 과정(MDP)으로 변환하고, 단계별 피드백을 제공하는 밀도 높은 프록시 보상을 설계한다. 또한, Extreme Learning Machine(ELM) 기반의 랜덤 비선형 특징 맵과 선형 TD 학습을 결합한 함수 근사 강화학습 알고리즘을 도입해 대규모 상태·행동 공간을 효율적으로 학습한다. 실제 규제 신호 데이터를 이용한 실험에서 제안 방법은 기존 정책 대비 사이클 깊이와 열화 지표를 현저히 감소시켰다.

상세 분석

이 논문은 배터리 에너지 저장 시스템(BESS)이 전력망의 주파수 조절 서비스를 제공하면서 겪는 핵심 문제인 사이클링 열화를 정량화하고, 이를 최소화하는 실시간 스케줄링 전략을 강화학습(RL) 프레임워크 안에서 해결한다. 먼저, 배터리 플릿을 이질적인 용량·충전·방전 한계가 서로 다른 N개의 개별 배터리로 모델링하고, 각 시간 슬롯 t에서 규제 요청 r(t)를 집합적으로 만족시키기 위해 배터리별 충·방전량 a_i(t)를 결정한다. 여기서 제약조건은 (1) 배터리별 충·방전 램프 한계, (2) 배터리 잔량(SoC) 범위, (3) 전체 합산이 규제 요청을 정확히 맞추는 집합적 제약이다. 이러한 제약을 만족하면서도 SoC 궤적이 깊은 사이클을 형성하지 않도록 하는 것이 목표이다.

핵심 난관은 사이클링 열화가 비마코프적이라는 점이다. 전통적인 동적 프로그래밍이나 표준 RL은 단계별 즉시 비용을 필요로 하는데, 실제 열화는 전체 SoC 궤적을 rainflow 알고리즘으로 분석해 사이클 깊이(DoD)에 따라 비선형 손실 f(δ)=α·e^{βδ}을 누적한다. 따라서 즉시 보상으로 사용하기 어렵다. 논문은 이를 해결하기 위해 두 가지 혁신을 제시한다. 첫째, “밀도 높은 프록시 보상”을 설계한다. 이 보상은 현재 SoC 변화율과 최근 전환점(충·방전 전환) 정보를 활용해, 깊은 사이클을 유발할 가능성이 높은 행동에 페널티를 부여하고, 얕은 사이클을 장려한다. 이렇게 하면 에이전트는 매 시점마다 의미 있는 피드백을 받으며, 장기적인 rainflow 기반 열화 최소화와 정렬된다.

둘째, 대규모 상태·행동 공간을 효율적으로 근사하기 위해 Extreme Learning Machine(ELM)을 이용한다. ELM은 무작위로 초기화된 은닉층 가중치를 고정하고, 출력 가중치만 선형 회귀 형태로 학습함으로써 빠른 수렴과 계산 효율성을 제공한다. 상태‑행동 쌍(s,a)을 고차원 비선형 특징 φ(s,a)로 변환한 뒤, 선형 TD(λ) 업데이트를 통해 Q‑함수의 파라미터 w를 업데이트한다. 이 접근법은 딥 뉴럴 네트워크에 비해 학습 안정성이 높으며, 정밀한 SoC 이산화와 비대칭 배터리 제약을 포함한 복잡한 MDP에서도 실시간 적용이 가능하도록 만든다.

실험은 두 가지 시나리오에서 수행된다. (1) 단순 마코프 신호 모델을 사용한 toy 환경, (2) 미국 델라웨어 대학교에서 수집한 실제 규제 신호를 마코프 체인으로 추정한 현실 환경. 두 경우 모두 제안된 RL 정책은 기존의 “균등 분배” 혹은 “최소 비용” 기반 스케줄링에 비해 사이클 깊이 분포를 좌측으로 이동시켜, 평균 DoD와 누적 열화량을 10~20% 정도 감소시켰다. 또한 규제 추적 오차는 거의 변하지 않아 서비스 품질을 유지하면서 배터리 수명을 연장할 수 있음을 보여준다.

한계점으로는 (i) 배터리 온도·C‑rate 등 다른 열화 요인을 제외했으며, (ii) 마코프 가정 하에 규제 신호를 모델링했기 때문에 급격한 비마코프적 변동에 대한 강건성 검증이 부족하다. 향후 연구에서는 다중 열화 메커니즘을 통합하고, 모델 기반·모델 프리 혼합 학습으로 비마코프적 외란에 대한 적응성을 강화할 필요가 있다.