마코프 점프 시스템의 모드 클러스터링 및 저차원 마코프 행렬 추정

**1. 연구 배경 및 동기** 마코프 점프 시스템은 여러 동적 모드가 마코프 체인에 의해 전이되는 복합 시스템을 모델링한다. 실제 로봇, 전력망, 기후·뇌 신호 등에서 모드가 시간에 따라 변하며, 각 모드마다 관측 특성이 달라진다. 하지만 모드 전이 정보를 직접 관측하기는 어렵고, 관측값만으로 전체 시스템을 모델링하면 상태 공간이 급격히 확대된다. 따라서 “모드 클러스터링”을 통해 전이 확률이 유사한 모드들을 하나로 묶어 모델 차원을 줄이는 것이 필요하다. 기존 연구는 연속 상태 차원 축소에 집중했으며, 이산 모드 자체를 축소하는 연구는 부족했다. **2. 문제 정의** - 총 \(n\)개의 모드가 존재하고, 모드 전이 행렬 \(P\in\mathbb{R}^{n\times n}\)는 에르고딕이다. - 각 모드 \(k\)는 알려진 파라미터 \(w_k\) (관측 모델)와 연관된다. - 관측 시퀀스 \(\{y_t,u_t\}_{t=0}^N\)만 주어졌을 때, (i) 모드 시퀀스 \(\{X_t\}\)를 추정하고, (ii) 전이 행렬을 군집화하여 \(r\)개의 클러스터 \(\{\Omega_k\}\)와 저‑랭크 전이 행렬 \(\tilde P\)를 복원한다. **3. 제안 알고리즘 (Algorithm 1)** 1) **모드 추정**: 각 시점 \(t\)에 대해 \(\phi_t\) (과거 출력·입력)와 각 모드 파라미터를 이용해 \(\hat X_t = \arg\min_k |y_t - w_k^\top \phi_t|\)를 선택한다. 2) **경험적 전이 행렬**: \(\hat X_t\)의 연속 쌍을 카운트해 \(\hat P(i,j) = \frac{\#\{ \hat X_{t-1}=i, \hat X_t=j\}}{\#\{ \hat X_{t-1}=i\}}\)를 만든다. 3) **SVD 차원 축소**: \(\hat P = U\Sigma V^\top\)를 수행하고, 상위 \(r\)개의 특이값과 좌측 특이벡터 \(U_r\)만 보존한다. 이는 \(\bar P\) (완전한 군집 구조)와의 거리를 최소화하는 저‑랭크 근사이다. 4) **k‑means 군집화**: 행벡터 \(U_r(i,:)\)들을 \(r\)개의 클러스터로 나눈다. 여기서 (1+ε) 근사 해를 구하면, 군집 오류에 대한 ε 의존성을 정량화할 수 있다. 5) **재구성 전이 행렬**: 동일 클러스터에 속한 모드들을 하나의 합성 상태로 취급해 \(\tilde P\)를 다시 계산한다. **4. 이론적 결과** - **정리 1**은 전이 행렬 차이가 \(\|P-\tilde P\|_\infty\) 이하일 때, stationary 분포와 transient 분포 차이가 \(\| \pi - \tilde\pi\|_1 \le n \sum_{i=2} (1-\lambda_i(P))^{-1} \|P-\tilde P\|_\infty\) 로 제한됨을 보여준다. - **정리 3**는 군집화 오류(오분류율)와 전이 행렬 근사 오차를 명시적으로 상한한다. 주요 가정은 (i) 전이 행렬이 작은 교란 \(\Delta\)를 갖고, (ii) 모드 추정 오류율 \(\eta\)가 \(\pi_{\min}^2\)보다 작으며, (iii) 충분히 긴 관측 길이 \(N\)가 필요함을 제시한다. 상한식은 \(\|\Delta\|\), \(\sigma_r(\bar P)\), 클러스터 크기 불균형, 그리고 \(\pi_{\min},\pi_{\max}\)에 의존한다. - **정리 4**는 완전한 군집 복원(MR=0) 시 \(\|P-\tilde P\|_\infty\)가 \(\mathcal{O}(\sqrt{n/\pi_{\min}}\,\sigma_1(P)(\epsilon+1.5\eta) + 2\|\Delta\|_\infty)\) 이하임을 보인다. 이는 정리 1과 결합해 전이 행렬을 대체해도 시스템 동작이 크게 변하지 않음을 의미한다. **5. 실험** - **합성 실험**: \(n=50\) 모드, 다양한 클러스터 수 \(r\)와 잡음 수준 \(n_{\max}\)를 변동시켜 군집 오류와 stationary 분포 차이를 측정했다. \(\Delta=0\)일 때는 거의 완벽한 복원이 가능했으며, \(\Delta\neq0\)일 때도 교란 크기가 작을 경우 오류가 제한적으로 증가함을 확인했다. - **실제 데이터**: 로봇 배터리 상태 변동을 모델링한 사례에서, 원본 30개의 모드를 5~6개의 군집으로 압축했음에도 제어 성능과 예측 정확도가 크게 저하되지 않았다. 이는 제안 방법이 실제 복합 시스템에 적용 가능함을 시사한다. **6. 논의 및 향후 연구** - **강점**: (1) 마코프 체인 집계 이론을 활용해 명확한 수학적 근거를 제공, (2) SVD와 k‑means라는 구현이 간단하면서도 효율, (3) 오류 상한을 통해 실용적 신뢰성을 확보. - **제한점**: (a) 각 모드의 파라미터 \(w_k\)가 사전에 알려져야 함, (b) 초기 모드 추정이 완전하지 않을 경우 전체 오류가 급격히 증가, (c) 클러스터 수 \(r\)를 사전에 지정해야 하며 자동 선택 메커니즘이 부재. - **미래 방향**: (i) EM‑like 반복 추정으로 파라미터와 모드 시퀀스를 공동 학습, (ii) 비선형·비가우시안 노이즈 모델에 대한 확장, (iii) 모델 선택 기준(AIC/BIC) 기반 자동 \(r\) 결정, (iv) 온라인/스트리밍 환경에서 실시간 군집 업데이트. **7. 결론** 본 논문은 마코프 점프 시스템의 이산 모드 차원을 효과적으로 축소하는 새로운 프레임워크를 제시한다. SVD 기반 저‑랭크 근사와 k‑means 군집화를 결합해 전이 행렬을 압축하고, 군집 오류와 전이 행렬 근사 오차에 대한 명시적 상한을 제공한다. 실험 결과는 제안 방법이 적은 데이터로도 높은 정확도의 군집 복원을 가능하게 하며, 실제 시스템에 적용했을 때도 연산 효율성과 성능 유지가 가능함을 보여준다.