다중 펌프 설비 조건 기반 유지보수를 위한 분포형 강화학습

초록

본 논문은 다중 펌프 설비의 조건 기반 유지보수(CBM)를 위해, 설비 노후화 요인을 통합한 Quantile Regression Deep Q‑Network(QR‑DQN) 기반 분포형 강화학습 프레임워크를 제안한다. 안전‑우선, 균형, 비용‑효율 세 가지 전략을 동시에 학습시켜 3,000 회 이상의 에피소드 실험에서 ROI 3.91, 152 % 성능 향상, 31 % 추가 투자 대비 95.66 % 운영 안정성을 달성하였다.

상세 분석

본 연구는 기존의 기대값 기반 강화학습이 유지보수 의사결정에서 위험을 충분히 반영하지 못한다는 한계를 분포형 강화학습으로 극복한다. QR‑DQN은 반환값(return)의 전체 확률분포를 학습함으로써, 특정 분위수(quantile)를 선택해 위험 회피 혹은 위험 선호 정책을 직접 구현한다. 논문에서는 설비의 노후화 정도를 ‘aging factor’라는 추가 상태 변수로 도입했으며, 이는 시간에 따라 고장 확률이 증가하는 현실적인 감쇠 모델을 제공한다.

세 가지 전략은 각각 다른 분위수를 목표로 한다. 안전‑우선 전략은 낮은 분위수(예: 0.1)에서의 손실을 최소화하도록 설계돼, 고장 위험을 크게 억제한다. 균형 전략은 중간 분위수(0.5)를 최적화해 비용과 안전 사이의 절충점을 찾으며, 비용‑효율 전략은 높은 분위수(0.9)를 중시해 기대 수익을 극대화한다. 이러한 분위수 선택은 정책 네트워크의 출력에 직접적인 가중치를 부여함으로써, 동일한 학습 구조 내에서 다중 목표를 동시에 달성한다는 점이 혁신적이다.

학습 과정에서는 Prioritized Experience Replay와 NoisyNet 탐색 기법을 결합해, 고장 이벤트와 같은 희소하지만 중요한 경험을 효율적으로 활용한다. 또한 Double DQN 구조를 적용해 Q‑값 과대평가를 방지하고, 안정적인 수렴을 보장한다. 실험에서는 3,000 에피소드 동안 5개의 주요 지표(ROI, 비용 절감율, 고장 감소율, 운영 안정성, 투자 대비 성과)를 종합적으로 평가했으며, 특히 안전‑우선 전략이 ROI 3.91, 152 % 성능 향상, 31 % 추가 투자 대비 95.66 % 운영 안정성을 기록했다.

다중 펌프 설비라는 복합 시스템에서 각 펌프의 상태와 노후화 정도를 공동 상태 벡터로 표현함으로써, 개별 펌프 간의 상호작용과 자원 할당 문제를 자연스럽게 모델링한다. 이는 기존 연구가 주로 단일 장비에 초점을 맞춘 것과 달리, 실제 산업 현장에서 흔히 발생하는 다중 장비 협조 유지보수 문제를 해결한다는 점에서 큰 의의를 가진다.

마지막으로, 논문은 실험 결과를 바탕으로 산업 현장 적용 가이드를 제시한다. 데이터 수집 단계에서는 IoT 센서와 유지보수 로그를 통합하고, 상태 전처리와 노후화 파라미터 추정을 위한 사전 학습 모델을 권장한다. 배포 단계에서는 Edge 컴퓨팅 환경에서 실시간 추론을 수행하고, 정책 업데이트는 주기적인 오프라인 재학습으로 관리한다. 이러한 전 과정이 표준화된다면, 다양한 산업 분야(제조, 석유화학, 수처리, 건물 설비 등)에서 비용 절감과 안전성 향상을 동시에 달성할 수 있을 것으로 기대된다.