에너지 효율적인 스마트 건물 열쾌적 제어를 위한 딥 강화학습

본 논문은 건물 에너지 관리 분야에서 HVAC 시스템이 차지하는 비중이 40%에 달한다는 점에 착안하여, 에너지 소비를 최소화하면서 거주자의 열쾌적을 유지·향상시키는 제어 정책을 자동으로 학습하는 프레임워크를 제안한다. 기존 연구들은 주로 모델 기반(PID, MPC, LQR 등) 혹은 전통적인 강화학습(Q‑learning, SARSA) 접근을 사용했으나, 복잡한 열역학적 동역학과 다양한 외부·내부 요인을 정확히 모델링하기 어렵고, 상태·행동 공간이 커짐에 따라 성능이 급격히 저하되는 한계를 가지고 있었다. 이를 해결하기 위해 저자들은 두 가지 핵심 기술을 결합하였다. 첫 번째는 열쾌적 예측을 위한 심층 신경망이다. 입력 변수로는 실내·외부 온도·습도, 일사량, 건물 구조 파라미터, 그리고 사용자 인구통계·선호도 등을 포함한다. 네트워크 학습 시 베이지안 정규화를 적용해 가중치 분포에 사전 정보를 부여함으로써 과적합을 방지하고, 예측 불확실성을 정량화한다. 실험에서는 기존 PMV 기반 회귀 모델 대비 평균 제곱오차가 15% 이상 감소했으며, 열쾌적 점수(−2~2 스케일) 예측 정확도가 크게 향상되었다. 두 번째는 연속 제어에 특화된 Deep Deterministic Policy Gradient(DDPG) 알고리즘이다. DDPG는 액터 네트워크가 직접 연속적인 set‑point(온도, 습도, 환기량 등)를 출력하고, 크리틱 네트워크가 해당 행동의 Q‑value를 평가한다. 경험 재플레이와 타깃 네트워크를 도입해 학습 안정성을 확보하고, 보상 함수는 에너지 소비와 열쾌적 예측값을 가중합한 형태로 설계되어, 두 목표가 균형을 이루도록 유도한다. 시스템 구현은 TRNSYS 기반 건물 열시뮬레이터와 IoT 센서 네트워크를 연동한 가상 환경에서 수행되었다. 시뮬레이션은 다양한 기후(열대, 온대, 한랭)와 사용자 선호(보수적, 적극적) 시나리오를 포함했으며, 각 시나리오마다 제안 방법, 전통 PID, MPC, Deep‑Q 기반 제어를 비교하였다. 결과는 다음과 같다. (1) 에너지 소비는 평균 12%~18% 감소, (2) 열쾌적 만족도 점수는 평균 0.3~0.5 포인트 상승, (3) 정책 수렴 속도는 Deep‑Q 대비 30% 빠름, (4) 연속 제어 덕분에 온도·습도 set‑point 오차가 기존 이산화 방식보다 40% 감소하였다. 논문의 주요 기여는 세 가지로 정리된다. 첫째, 베이지안 정규화를 활용한 열쾌적 예측 모델을 제시하여 예측 정확도와 불확실성 추정 능력을 동시에 확보했다. 둘째, DDPG를 적용해 연속적인 HVAC 제어를 구현함으로써 이산화에 따른 제어 정밀도 손실을 극복하고, 에너지와 쾌적성 사이의 트레이드오프를 효율적으로 최적화했다. 셋째, TRNSYS와 연동된 시뮬레이션 플랫폼을 구축해 다양한 실험 설정에서 포괄적인 성능 평가를 수행했다. 한계점으로는 실제 현장 적용 시 센서 오차, 통신 지연, 사용자 피드백의 비정형성 등이 추가적인 불확실성을 야기할 수 있다는 점이다. 또한, 현재는 단일 건물·단일 에이전트 설정에 초점을 맞추었으나, 다중 건물·다중 에이전트 협업 제어, 실시간 적응형 학습, 그리고 재생에너지와의 연계 등 확장 연구가 필요하다. 향후 연구에서는 이러한 요소들을 통합한 종합적인 스마트 그리드·스마트 빌딩 통합 제어 프레임워크를 개발하는 것이 목표이다.