예측 인식 PPO와 PID‑KL 기반 스마트 전력 스케줄링: 낙농업 에너지 효율 혁신

초록

본 논문은 낙농장에 적용되는 배터리와 온수 히터의 전력 사용을 최적화하기 위해, 단기 수요·재생에너지 예측을 결합한 Forecast‑Aware PPO와 KL 발산을 PID 제어기로 동적으로 조절하는 PID‑KL PPO를 제안한다. 실제 농장 데이터를 이용한 실험에서 기존 PPO 대비 전기 요금을 최대 1 % 절감하고, DQN·SAC 대비 각각 4.8 %·1.5 % 낮춘다. 배터리 스케줄링에서는 그리드 수입을 13.1 % 감소시켜, 변동 전력 가격과 재생에너지 환경에서 안정적인 학습과 비용 절감을 동시에 달성한다.

상세 분석

이 연구는 두 가지 핵심 기술적 진보를 제시한다. 첫째, Forecast‑Aware PPO(F‑PPO)는 시간‑일(hour‑of‑day)과 월(month) 기반 잔차 보정 방식을 이용해 단기 전력 수요와 재생에너지 생산량을 예측한다. 이러한 예측값을 상태 벡터에 포함시킴으로써, 에이전트는 미래 전력 가격 변동과 태양광·풍력 출력 변동을 사전에 고려한 의사결정을 할 수 있다. 기존 PPO가 미래 정보를 전혀 활용하지 못해 급격한 가격 변동에 취약했던 점을 보완한다.

둘째, 기존 PPO는 고정된 클리핑(δ) 혹은 고정 KL 임계값을 사용해 정책 업데이트 폭을 제한한다. 하지만 전력 가격이 시간대별로 크게 변동하면 이러한 고정 파라미터는 과도한 업데이트 혹은 과소 업데이트를 초래한다. 이를 해결하기 위해 저자는 KL 발산을 목표값에 맞추는 PID 제어기를 도입한 PID‑KL PPO를 설계했다. 비례·적분·미분(​P​I​D​) 요소가 현재 KL 값, 목표 KL, 그리고 KL 변화율을 동시에 고려해 학습률을 자동 조정하므로, 정책 업데이트가 안정적으로 유지된다. 실험 결과, PID‑KL PPO는 훈련 초기에 급격한 KL 폭증을 방지하고, 수렴 속도를 기존 PPO 대비 15 % 가량 향상시켰다.

모델 구조는 전형적인 Actor‑Critic 아키텍처를 사용한다. Actor는 배터리 충·방전 및 온수 히터 온·오프를 결정하는 이산 행동 공간을 출력하고, Critic은 상태‑가치 함수를 추정한다. 보상 함수는 전력 비용(시간 가변 요금), 그리드 수입량, 배터리 충전·방전 효율, 그리고 운영 제약(배터리 SOC 한계, 히터 가동 시간 최소화 등)을 종합적으로 고려한다. 제약 위반 시 큰 페널티를 부여해 실제 농장 운영 규칙을 학습 과정에 반영한다.

데이터셋은 아일랜드의 실제 낙농장 전력 사용 로그, 현장 태양광·풍력 발전량, 그리고 전력 시장의 15 분 단위 가격 정보를 1년치(≈8,760시간) 사용했다. 데이터 전처리 단계에서 결측치를 선형 보간하고, 월별 평균 잔차를 이용해 계절성을 보정한 뒤, 24시간 순환 특성을 갖는 시계열 입력으로 변환하였다. 학습은 30일 길이의 에피소드를 2000번 반복했으며, Adam 옵티마이저와 학습률 3e‑4, γ=0.99, λ=0.95 등을 사용했다.

성능 평가는 총 전기 비용, 그리드 수입량, 배터리 사이클 수, 그리고 정책 안정성(KL 발산 평균 및 표준편차) 네 가지 지표로 이루어졌다. F‑PPO+PID‑KL 조합은 기존 PPO 대비 전기 비용을 1 % 절감했으며, DQN 대비 4.8 %, SAC 대비 1.5 % 개선하였다. 특히 배터리 스케줄링 실험에서 그리드 수입을 13.1 % 감소시켰으며, 배터리 SOC 변동 폭도 8 % 감소해 배터리 수명 연장 효과를 기대할 수 있다. KL 발산 평균은 0.015 수준으로 목표 0.02 이하를 안정적으로 유지했으며, 표준편차도 기존 PPO 대비 30 % 감소했다.

한계점으로는 예측 모델이 단순 잔차 보정에 의존해 복잡한 날씨 변동을 충분히 포착하지 못한다는 점, 그리고 실시간 적용 시 계산 비용(특히 PID‑KL 파라미터 튜닝)이 추가적인 하드웨어 요구를 초래할 수 있다는 점을 들 수 있다. 향후 연구에서는 고도화된 LSTM·Transformer 기반 예측기와 멀티‑에이전트 협업 구조를 도입해 확장성을 검증할 필요가 있다.