안전하고 최적이며 작은 하이브리드 마코프 의사결정 전략

** 본 논문은 하이브리드 마코프 의사결정 과정(HMDP)에서 안전하고 비용 효율적인 제어 전략을 실용적인 형태로 제공하기 위한 새로운 프레임워크를 제시한다. 기존 UPPAAL Stratego는 안전 전략을 합성하고, 강화학습을 통해 비용을 최소화하는 두 단계 과정을 제공하지만, 최종 결과물은 수백만 개에 달하는 상태‑액션 쌍 리스트 형태다. 이러한 리스트는 메모리와 처리 능력이 제한된 임베디드 시스템에 직접 적용하기 어렵고, 인간이 이해하거나 수정하기에도 비현실적이다. 논문은 이러한 문제를 해결하기 위해 전략을 결정트리(Decision Tree) 형태로 압축하는 방법을 고안한다. 결정트리는 각 노드가 연속 변수(속도, 거리 등) 혹은 이산 변수(가속도 모드 등)에 대한 간단한 비교 연산을 수행하고, 리프 노드가 해당 상태에서 허용되는 제어 모드 집합을 반환한다. 이때 리프는 단일 액션이 아니라 다중 라벨을 가질 수 있어, 안전 전략이 허용하는 모든 행동을 동시에 표현한다. 프레임워크는 크게 세 단계로 구성된다. 1. **안전 전략 추출**: UPPAAL Tiga를 이용해 HMDP를 2‑플레이어 타임드 게임으로 추상화하고, 안전 사양(예: 최소 거리 유지)을 만족하는 메모리리스 안전 전략 σ_safe 를 합성한다. 이 전략은 각 전역 구성(제어 모드, 환경 모드, 연속 상태)에서 허용되는 제어 모드 집합을 정의한다. 2. **결정트리 학습**: σ_safe 를 학습 데이터셋으로 변환한다. 각 데이터 포인트는 연속·이산 변수값과 해당 상태에서 허용되는 제어 모드 집합이다. 전통적인 결정트리 학습 알고리즘(ID3, C4.5, CART 등)을 적용해 다중 라벨 트리를 생성한다. 트리 생성 과정에서 엔트로피 기반 분할 기준을 사용하고, 최소 분할 크기 k 와 같은 하이퍼파라미터를 조정해 과적합을 방지하거나 트리 크기를 제한한다. 3. **최적성 트레이드오프**: 안전성을 유지하면서 비용 최적성을 조정한다. 원본 최적 전략 σ_opt (UPPAAL Stratego가 강화학습을 통해 얻은 기대 비용 최소화 전략)를 기준으로, 트리의 크기와 비용 손실 사이의 관계를 실험적으로 측정한다. 사용자는 허용 가능한 비용 손실 ε 를 정의하고, 이를 만족하는 최소 트리 크기를 자동으로 탐색하도록 파라미터 k 를 조정한다. 또한 사후 가지치기(pruning) 기법을 적용해 불필요한 서브트리를 제거한다. 안전성 보장은 두 차원에서 이루어진다. 첫 번째는 전략 자체가 안전 집합 S 안에 머무르도록 설계된 점이다. 두 번째는 연속적인 흐름 사이에서도 안전을 보장하기 위해, Euler 기반의 집합 보강 기법을 적용한다. 이는 트리에서 선택된 모드가 실제 물리 시스템의 연속 동역학을 따라도 안전 영역을 벗어나지 않도록 수학적으로 증명한다. 실험에서는 세 가지 사례를 선정했다. - **자동차 적응형 크루즈 컨트롤**: 앞차와의 거리 유지와 최소 거리 최적화를 목표로, 원본 전략은 약 6 백만 개의 구성으로 표현되었다. 결정트리 압축 후 2 713개의 노드로 감소했으며, 추가 트레이드오프를 적용하면 1 247개의 노드까지 줄일 수 있었다. 비용(통합 거리) 손실은 3 % 이하에 머물렀다. - **협동 로봇 팔 작업**: 로봇 팔의 충돌 방지와 작업 시간 최소화를 위한 전략을 압축했을 때, 원본 1 백만 개 구성이 4 500개의 노드로 축소되었다. 트리 크기를 30 % 감소시켰을 때 작업 시간 증가율은 1.8 %에 불과했다. - **스마트 그리드 부하 관리**: 전력 부하 균형 유지와 비용 최소화를 위한 전략을 압축했으며, 원본 2 백만 개 구성이 3 200개의 노드로 변환되었다. 트리 크기를 절반으로 줄였을 때 비용 손실은 4 % 수준이었다. 모든 사례에서 안전 위반은 관측되지 않았으며, 트리 기반 전략은 실시간 제어 주기(P ≈ 10 ms) 내에 결정이 가능함을 확인했다. 또한 트리는 자동으로 C‑코드(또는 임베디드 파이썬)로 내보낼 수 있어, 실제 임베디드 보드에 바로 배포할 수 있다. 논문의 주요 기여는 다음과 같다. 1. **전략‑트리 변환 알고리즘**: 하이브리드 MDP의 안전·최적 전략을 다중 라벨 결정트리로 정확히 변환하는 방법을 제시한다. 2. **안전 보장 메커니즘**: 트리 기반 정책이 연속 동역학을 포함한 전체 시스템에서 안전성을 유지함을 수학적으로 증명한다. 3. **크기‑성능 트레이드오프 프레임워크**: 최소 분할 크기 k 와 사후 가지치기 파라미터를 이용해 트리 크기와 비용 손실 사이의 균형을 사용자가 직접 조정할 수 있다. 4. **툴 체인 구현**: UPPAAL Stratego와 연동되는 ‘Stratego+’ 툴을 구현해, 전략 추출 → 트리 학습 → 최적성 조정 → 코드 내보내기의 전 과정을 자동화하였다. 결과적으로, 본 연구는 안전·최적·소형이라는 세 축을 동시에 만족하는 제어 정책을 제공함으로써, 사이버‑물리 시스템 분야에서 모델 기반 제어와 임베디드 구현 사이의 격차를 크게 줄였다. 향후 연구에서는 비메모리리스(다중 단계) 전략, 확률적 안전 보장, 그리고 딥러닝 기반 트리 구조(예: 랜덤 포레스트)와의 결합을 탐색할 계획이다. **