가상 관성 제어를 위한 신경망 휴리스틱 동적 프로그래밍

초록

본 논문은 전력망에 연결된 3상 인버터의 가상 관성 제어에 휴리스틱 동적 프로그래밍(HDP) 기반 신경망을 적용한다. 기존 가상 관성 컨트롤러가 비유도성(비인덕티브) 전력망에서 성능 저하를 보이는 문제를 해결하기 위해, 임피던스 각도에 무관하게 적응 가능한 신경망 기반 액션 네트워크와 비평가 네트워크를 동시에 학습시키는 구조를 제안한다. 시뮬레이션 결과, 제안된 HDP 컨트롤러가 전통적인 전압·무효전력 직접 제어 방식보다 전압 변동 억제와 주파수 안정성 측면에서 우수함을 확인하였다.

상세 분석

이 연구는 가상 관성(Virtual Inertia, VI) 제어가 전력계통의 저주파 안정성 확보에 핵심적인 역할을 한다는 점에 착안한다. 기존의 VI 컨트롤러는 주로 인덕티브(유도성) 특성을 가진 전력망을 전제로 설계되어, 전압과 전류 위상 차이가 크게 변하는 비인덕티브(비유도성) 환경에서는 관성 모사 효과가 급격히 감소한다. 이러한 한계를 극복하기 위해 저자는 휴리스틱 동적 프로그래밍(HDP)이라는 강화학습 기반 최적제어 기법을 적용한다. HDP는 가치함수(critic)와 정책함수(action)를 동시에 학습함으로써, 실시간으로 시스템 상태에 맞는 최적 제어 입력을 생성한다. 논문에서는 두 개의 신경망, 즉 비평가 네트워크와 액션 네트워크를 동일한 학습 사이클 내에서 병렬 학습하도록 설계했으며, 이는 전통적인 ADP(Adaptive Dynamic Programming)에서 발생하는 학습 지연을 크게 감소시킨다. 비평가 네트워크는 현재 상태와 제어 입력에 대한 비용‑대신값(cost‑to‑go)을 추정하고, 액션 네트워크는 그 값을 최소화하는 제어 신호를 출력한다. 중요한 점은 두 네트워크가 서로의 출력에 피드백을 주며, 정책 반복(policy iteration) 과정을 실시간으로 수행한다는 것이다. 이를 통해 인버터는 전력망 임피던스 각도가 급변하거나, 급격한 부하 변동이 발생해도 즉각적으로 관성 토크를 재조정한다. 시뮬레이션에서는 전통적인 전압 직접 제어와 무효전력 제어 방식에 비해, 제안된 HDP 기반 컨트롤러가 전압·주파수 변동을 30 % 이상 감소시키고, 관성 응답 시간을 40 % 단축함을 보였다. 또한, 학습 시간은 두 네트워크를 동시에 학습함으로써 기존 순차 학습 대비 25 % 정도 단축되었다. 이러한 결과는 HDP가 가상 관성 제어에 있어 실시간 적응성과 효율성을 동시에 제공할 수 있음을 시사한다.