운전 상황 인식 기반 다중 에이전트 통합 전·열 관리

본 논문은 하이브리드 전기차(HEV)의 연료 효율과 열관리 효율을 동시에 향상시키기 위해 운전 상황을 인식하는 통합 전·열 관리(ITEM) 프레임워크를 제안한다. 서론에서는 HEV의 에너지 관리(EMS)와 열 관리(TM)가 서로 강하게 결합되어 있음에도 불구하고 기존 연구들은 주로 EMS에만 운전 상황을 반영하고 TM에 대한 고려가 부족함을 지적한다. 이를 보완하기 위해 운전 스타일을 실시간으로 파악하고, 이를 기반으로 다중 에이전트 강화학습을 수행하는 새로운 접근법을 제시한다. 2절에서는 Autonomie 기반의 전력 분할 HEV 모델을 상세히 소개한다. 전기 모터 2대, 내연기관(ICE), 배터리, 냉각·난방 시스템, 캐빈 공조 시스템 등 전·열 흐름을 모두 포함한 다중 물리 모델을 수식으로 전개한다. 배터리 전기·열 모델은 1차 RC 회로와 온도·SOC 의존성을 포함하고, 엔진 냉각수와 캐빈 온도 모델도 각각 열 전달 방정식으로 기술한다. 이러한 모델은 DRL 에이전트가 정확한 상태 정보를 얻고, 보상 함수를 설계하는 기반이 된다. 3절에서는 운전 상황 인식 알고리즘을 설명한다. 전체 주행 데이터를 20 초 길이의 마이크로 트립으로 나누고, 각 마이크로 트립에 대해 평균 속도와 최대 가속도 두 개의 특징을 추출한다. K‑means 군집화를 통해 마이크로 트립을 3개의 클러스터(저속·정체, 고속·연속 가속, 혼합형)로 구분하고, 각 클러스터 중심을 라벨링한다. 이후 라벨링된 데이터를 입력으로 DNN을 학습시켜 실시간 운전 상황 인식 모델을 구축한다. DNN은 K‑means 라벨을 목표로 90 % 이상의 정확도를 달성했으며, 실시간 추론에 필요한 연산량이 적어 차량 제어기에 적용 가능하다. 4절에서는 운전 상황 인식을 반영한 다중 에이전트 DRL 기반 ITEM을 제시한다. 두 개의 에이전트, 즉 EMS 에이전트와 캐빈 TM 에이전트를 각각 DDPG 알고리즘으로 학습한다. EMS 에이전트의 상태는 배터리 SOC 편차, 현재 ICE 출력, 이전 액션 등이며, 행동은 ICE 출력 전력의 증감값이다. 보상은 연료 소비율과 배터리 충전 유지 패널티를 결합한다. 캐빈 TM 에이전트의 상태는 실내 온도, 목표 온도 편차, 차량 속도·가속도, 그리고 DNN으로부터 얻은 운전 상황 라벨이다. 행동은 히터와 에어컨의 가동 모드 선택이며, 보상은 실내 온도 편차와 열관리 전력소모를 가중합한 형태다. 두 에이전트는 공동 학습을 통해 서로의 행동을 고려한 최적 정책을 도출한다. 5절에서는 시뮬레이션 결과를 제시한다. 10개의 표준 주행 사이클 중 9개를 학습·클러스터링에 사용하고, 나머지 1개를 미보인 테스트 사이클로 설정하였다. 운전 상황 인식이 없는 기존 ITEM과 비교했을 때, 제안된 운전 상황 인식 기반 ITEM은 연료 소비를 16.14 % 절감하고, 열관리 전력을 8.22 % 감소시켰다. 또한 배터리 SOC는 초기 0.65 수준을 유지했으며, 실내 온도 변동이 감소해 승객 쾌적성이 향상되었다. 이러한 결과는 운전 상황 정보를 실시간으로 활용함으로써 EMS와 TM 간의 상호작용을 보다 정밀하게 제어할 수 있음을 입증한다. 마지막으로 논문은 현재 연구의 한계와 향후 과제를 제시한다. 특징 선택이 제한적이며, 도로 경사, 기상, 제동 강도 등 추가적인 변수들을 포함하면 인식 정확도와 제어 성능이 더욱 개선될 수 있다. 또한 DDPG 기반 다중 에이전트 학습은 샘플 효율성이 낮아 실제 차량 적용을 위해 전이 학습, 모델 기반 강화학습, 혹은 하이브리드 최적화 기법과의 결합이 필요함을 언급한다.