스마트 유한 상태 장치 수요 반응 기술 모델링 프레임워크

초록

본 논문은 마르코프 의사결정 과정(MDP) 기반의 유한 상태 기계 모델을 제시하여, 옵션 부하, 연기 가능한 부하, 관성 제어 부하, 저장 장치 등 네 종류의 가정용·상업용 디바이스가 변동성 높은 배전 시장 가격에 어떻게 최적의 가격 수용형 제어 전략을 수행할 수 있는지를 분석한다.

상세 분석

본 연구는 수요 반응(DR) 시장에서 개별 디바이스가 자율적으로 가격 신호에 반응하도록 설계된 MDP 프레임워크를 제안한다. 먼저 디바이스를 네 가지 유형으로 구분한다. (a) 옵션 부하는 전력 사용을 즉시 차단하거나 감소시킬 수 있는 부하로, 전등 디밍이나 가전 제품의 저전력 모드가 해당한다. 이 경우 상태 공간은 “ON”과 “OFF” 혹은 “DIMMED”와 같은 이산적인 전력 수준으로 정의된다. (b) 연기 가능한 부하는 작업 시작 시점을 연기할 수 있는 부하이며, 식기세척기나 세탁기가 전형적인 예이다. 여기서는 작업이 “대기”, “실행”, “완료” 등으로 구분되는 3‑state 모델을 채택하고, 각 상태 전이 확률은 외부 가격 신호와 사용자의 선호도에 따라 가중된다. (c) 관성 제어 부하는 온도와 같은 보조 변수를 유지해야 하는 thermostatically‑controlled load(TCL)이다. 온도는 연속적인 물리량이지만, 모델링 편의를 위해 “저온”, “목표”, “고온” 등 제한된 구간으로 이산화한다. 이때 전력 사용은 온도 변화에 따라 자동으로 전이되며, 가격이 높을 때는 목표 구간을 넓혀 에너지 소비를 억제한다. (d) 저장 장치는 충전·방전 상태를 오가며, 배터리나 전기차가 대표적이다. 충전·방전 효율, SOC(state‑of‑charge) 제한, 그리고 가격에 따른 충전 시점 선택이 핵심 의사결정 변수이다.

각 디바이스 유형별 MDP는 (1) 상태 집합 S, (2) 행동 집합 A, (3) 전이 확률 P(s’|s,a), (4) 즉시 보상 r(s,a) 로 구성된다. 보상 함수는 전력 비용(가격·전력량)과 사용자의 불편(예: 온도 편차, 작업 지연) 사이의 가중합으로 정의된다. 논문은 가격을 확률적 마코프 체인으로 모델링하고, 디바이스는 이 가격 프로세스를 관측 가능한 외부 신호로 받아들여 정책 π(s) 를 최적화한다. 가치 반복(Value Iteration)과 정책 반복(Policy Iteration) 알고리즘을 이용해 최적 정책을 구하고, 수렴 속도와 계산 복잡도를 분석한다. 특히, 관성 부하의 경우 상태 전이가 온도 동역학에 종속되므로, 전이 확률을 물리 기반 열 방정식의 근사값으로 설정해 현실성을 높였다.

실험 결과는 시뮬레이션 기반으로, 24시간 가격 시나리오와 실제 날씨·사용 패턴을 결합하였다. 옵션 부하는 가격이 급등할 때 30 % 이상 전력을 차단했으며, 연기 가능한 부하는 평균 1.5 시간 정도 작업을 연기해 비용을 12 % 절감했다. 관성 부하는 온도 편차를 ±0.5 °C 이내로 유지하면서도 피크 전력을 18 % 감소시켰다. 저장 장치는 가격이 낮은 시간대에 충전하고, 피크 시에 방전함으로써 전체 시스템 비용을 9 % 절감했다. 이러한 결과는 개별 디바이스가 단순히 가격을 수동적으로 따르는 것이 아니라, MDP 기반 정책을 통해 사전 예측과 제어를 수행함으로써 전체 수요 반응 효율을 크게 향상시킬 수 있음을 보여준다.

또한 논문은 확장 가능성을 논의한다. 다수 디바이스가 동시에 참여하는 경우, 각 디바이스의 정책이 독립적으로 최적화되지만, 집합적인 행동은 시장 가격에 피드백을 주어 새로운 균형을 만든다. 이를 “가격-수요 상호작용 고정점”이라고 정의하고, 반복적인 가격 업데이트와 정책 재계산을 통해 수렴성을 검증한다. 마지막으로, 정책의 실시간 적용을 위한 계산량 감소 방안으로, 상태-행동 쌍을 클러스터링하고 근사 가치 함수를 신경망으로 근사하는 방법을 제안한다. 이는 실제 스마트 홈 혹은 마이크로그리드 컨트롤러에 적용 가능한 경량화된 구현 전략이다.