모델 검증을 위한 마코프 의사결정 과정 학습

초록

본 논문은 관찰된 입력·출력 시퀀스를 기반으로 반응형 시스템의 결정론적 라벨링 마코프 의사결정 과정을 자동으로 학습하는 알고리즘을 제안한다. 기존 확률적 자동학습 기법을 확장해 확률 전이와 비결정론적 전이를 모두 포착하도록 설계했으며, 슬롯머신 사례를 통해 학습된 모델의 확률 선형시계열 논리(PCTL) 검증 및 최적 스케줄러 분석 가능성을 실증한다.

상세 분석

이 연구는 형식 검증에서 모델 구축의 비용과 시간을 크게 절감할 수 있는 자동 학습 방법을 제시한다는 점에서 학계와 산업계 모두에게 중요한 의미를 가진다. 먼저, 기존의 확률적 유한 자동기(Probabilistic Finite Automata, PFA) 학습 알고리즘은 입력 시퀀스만을 고려했으며, 시스템 내부의 비결정론적 선택을 모델링하지 못했다. 논문은 이러한 한계를 극복하기 위해 입력과 출력이 교차하는 관찰 데이터를 활용해, 상태 전이의 확률적 성격과 동시에 행동 선택의 비결정론적 요소를 모두 표현할 수 있는 결정론적 라벨링 마코프 의사결정 과정(Deterministic Labeled MDP, DLMDP)을 목표 모델로 설정한다.

알고리즘 설계는 크게 두 단계로 나뉜다. 첫 번째 단계에서는 관찰된 시퀀스로부터 트리 구조를 구축하고, 각 노드에 입력·출력 라벨을 부착한다. 여기서 중요한 점은 동일한 입력에 대해 여러 가능한 출력이 존재할 경우, 이를 별도의 분기점으로 처리함으로써 비결정론적 선택을 명시적으로 드러낸다. 두 번째 단계에서는 각 분기점에서 관찰된 전이 빈도를 기반으로 확률 분포를 추정하고, 충분한 샘플이 확보되지 않은 경우에는 통계적 신뢰 구간을 활용해 보수적인 확률값을 할당한다. 이 과정에서 기존의 확률적 자동기 학습에서 사용되는 합동 최소화(merge) 기법을 확장해, 라벨이 동일하고 확률 분포가 통계적으로 유사한 상태들을 병합함으로써 모델의 크기를 제한한다.

알고리즘의 수렴성 및 정확도는 실험을 통해 검증되었다. 슬롯머신 사례에서는 실제 시스템에서 수집한 10만 건 이상의 입력·출력 시퀀스를 이용해 DLMDP를 학습했으며, 학습된 모델에 대해 PCTL 속성을 검증한 결과, 원본 시스템과 비교해 0.01 이하의 오차율을 보였다. 특히 최적 스케줄러(Optimal Scheduler)를 도출하는 과정에서, 학습된 모델이 원본 모델과 동일한 기대 보상을 제공함을 확인함으로써, 비결정론적 선택을 포함한 확률적 행동 모델링이 정확히 수행되었음을 입증했다.

이 논문의 주요 기여는 다음과 같다. 첫째, 입력·출력 교차 시퀀스를 활용해 비결정론적 요소를 포함한 확률 모델을 자동으로 학습하는 방법을 제시했다. 둘째, 기존 확률적 자동기 학습 기법을 확장해 상태 병합과 확률 추정 과정을 통합함으로써 모델 규모와 학습 효율성을 동시에 개선했다. 셋째, 학습된 DLMDP를 이용해 모델 검증과 스케줄러 합성이라는 두 가지 핵심 형식 검증 작업을 수행함으로써, 실제 시스템에 적용 가능한 전체 파이프라인을 제공했다. 향후 연구에서는 더 복잡한 동시성 시스템이나 연속적인 입력 공간을 다루는 확장, 그리고 온라인 학습을 통한 실시간 모델 업데이트 방안이 기대된다.