인간‑기계 협업을 통한 물 공급망 예측·복원 Q‑학습

초록

본 논문은 고장·공격 상황에서도 지속적인 물 흐름을 유지하도록, 인간 운영자의 사전 정보와 IoT 센서 데이터를 결합한 예측·복원형 Q‑학습 알고리즘을 제안한다. 인간‑in‑the‑loop 방식을 보상 shaping과 action pruning 두 가지로 구현하고, 버지니아주 알링턴 카운티의 실제 누수 데이터를 활용해 정책을 평가한다.

상세 분석

이 연구는 스마트 시티 물 공급망을 유향 그래프로 모델링하고, 각 노드(동네)와 간선(파이프라인)을 상태·행동 공간으로 정의한다. 전통적인 Q‑learning이 즉시 보상을 기반으로 최적 정책을 학습하는 반면, 저자는 Predictive Q‑routing 개념을 확장해 시간 창(M) 과 과거 고장 기록을 Q‑함수에 포함시켰다. 구체적으로 Q‑값은
(Q_{k}^{p}(s,a)=k\cdot\tilde{t}-M R_{t}+k-M\tilde{t}+1b_{t}R_{t})
와 같이 현재 비용 행렬 (R_{k})와 과거 비용을 가중 평균하는 형태이며, 비용 행렬은 고장·공격 발생 시 실시간으로 업데이트된다.

인간‑in‑the‑loop은 두 가지 메커니즘으로 구현된다.

1. 보상 shaping: 운영자는 위험 지역을 식별하고, 해당 지역에 대한 추가 페널티 (R_{H}) 를 생성한다. 최종 보상은 (r = R_{A}+R_{H}) 로, 에이전트는 인간이 부여한 위험 가중치를 학습 과정에 직접 반영한다.
2. action pruning: 위험 지역에 대한 행동을 완전히 차단하고, 차단된 행동을 시도할 경우 큰 음의 보상을 부여한다. 이는 에이전트가 차단된 행동을 반복 시도하지 않도록 강제한다.

알고리즘 1·2는 각각 보상 shaping과 action pruning을 적용한 Q‑learning 절차를 상세히 기술한다. 주요 파라미터는 학습률 (\alpha), 복구율 학습률 (\beta), 감쇠 계수 (\gamma) 로, (\beta \le \gamma) 를 만족하도록 설계해 복구율의 안정적 감소를 보장한다. 또한, 복구율 (RR) 와 마지막 업데이트 시간 (U) 를 도입해 비복원 경로의 탐색 빈도를 조절한다.

실험에서는 119개의 동네와 1816건의 누수 기록을 이용해 그래프를 구성하고, 출발지(리버 포토맥 인근)와 목적지(로널드 레이건 워싱턴 공항) 사이의 최적 경로를 탐색한다. 시나리오에서는 급성 위장염 발생으로 잠재적 오염 위험이 제기된 상황을 가정하고, 인간 운영자가 위험 지역을 사전에 지정한다. 결과는 위험 지역 회피율과 누수 지역 통과 최소화 두 지표에서 기존 Q‑routing 대비 12~18% 개선을 보였다.

이 논문의 핵심 기여는 (1) 고장·공격에 대한 예측적 비용 모델링을 Q‑학습에 통합, (2) 인간 운영자의 전문 지식을 보상 shaping·action pruning으로 정량화, (3) 실제 물 공급망 데이터에 기반한 실증 검증이다. 특히, 인간‑기계 협업을 통해 비정형 위협(예: 급성 오염) 상황에서도 빠른 정책 적응이 가능함을 입증했다. 다만, 보상 shaping에 의한 보상 편향과 action pruning에 따른 행동 공간 축소가 학습 수렴 속도와 탐색 다양성에 미치는 영향을 추가 실험으로 정량화할 필요가 있다.