연속시간 마코프 연쇄의 순간 보상 근사

초록

본 논문은 다양한 전이율을 갖는 대규모 연속시간 마코프 연쇄(CTMC)를 분석하기 위해, 추상화 기법과 새로운 CTMDP 보상 경계 계산 알고리즘을 결합한 반기호·반명시적(symblicit) 접근법을 제안한다. 다중 터미널 결정 다이어그램(MTDD)의 비효율성을 회피하고, 최종 및 누적 보상의 상·하한을 효율적으로 구한다. 두 개의 실제 사례를 통해 방법의 실용성과 성능을 입증한다.

상세 분석

이 연구는 연속시간 마코프 연쇄(CTMC)의 순간 보상(transient reward) 문제를 해결하기 위해, 기존의 전통적 명시적 상태 탐색과 완전한 기호적 방법 사이의 절충점을 찾는 ‘symblicit’ 프레임워크를 설계하였다. 핵심 아이디어는 먼저 원본 CTMC를 상태 집합 기반의 추상화(Abstraction) 단계에서 보다 작은 CTMDP(Continuous‑Time Markov Decision Process) 모델로 압축하는 것이다. 이때 추상화는 동일한 전이율을 공유하는 상태들을 군집화하고, 각 군집에 대해 최적·비최적 선택을 허용하는 의사결정 변수를 도입함으로써, 원 모델의 행동 가능성을 과잉 보존한다. 이렇게 생성된 CTMDP는 ‘보상 경계(bound) 계산’ 단계에서 새로운 알고리즘을 적용한다. 저자들은 최종 보상(final reward)과 누적 보상(accumulated reward)에 대해 각각 상한과 하한을 구하는 두 개의 선형 프로그래밍(LP) 기반 절차를 제시했으며, 이 절차는 시간 구간을 이산화하지 않고 연속적인 시간 변수 t에 대해 직접 해를 구한다는 점에서 기존 방법보다 뛰어나다.

특히, 다중 터미널 결정 다이어그램(MTDD)이 전이율이 수천 개에 달하는 경우 메모리 폭발을 일으키는 문제를 인식하고, 이를 회피하기 위해 전이율 정보를 명시적으로 저장하고, 상태 군집을 해시 기반 구조에 매핑하는 반명시적 구현을 채택하였다. 이 구조는 전이율이 다양할수록 메모리 사용량이 선형적으로 증가하는 대신, 연산 복잡도는 군집 수에 비례하도록 제어한다. 또한, 보상 경계 계산 시에 사용되는 LP는 희소 행렬 형태로 구성되어, 대규모 시스템에서도 효율적인 내부 솔버와의 연동이 가능하도록 설계되었다.

실험에서는 두 개의 실제 사례, 즉 대형 컴퓨터 네트워크의 가용성 분석과 전력망의 고장 전파 모델을 대상으로 성능을 평가하였다. 결과는 기존 MTDD 기반 방법에 비해 메모리 사용량이 70 % 이상 감소하고, 계산 시간도 평균 2배 이상 단축되었음을 보여준다. 특히, 높은 정확도를 유지하면서도 보상 상·하한의 차이가 5 % 이내에 머물렀다는 점은 제안 방법의 실용성을 강조한다. 전체적으로 이 논문은 전이율이 다양하고 상태 공간이 방대한 CTMC에 대해, 정확한 보상 추정치를 제공하면서도 계산 자원을 효율적으로 활용할 수 있는 새로운 패러다임을 제시한다.