숨은 마르코프 모델 파라미터 학습을 위한 메모리 효율적 알고리즘

초록

본 논문은 Viterbi 학습과 확률적 EM 학습에 대해 메모리 사용량을 입력 길이에 독립적으로 만드는 단일 패스 알고리즘을 제안한다. 기존의 두 단계 방식과 달리 한 번의 순방향 스캔만으로 파라미터를 업데이트할 수 있어 구현이 간단하고 대규모 데이터에 적용 가능하다.

상세 분석

이 연구는 숨은 마르코프 모델(HMM)의 파라미터 추정 과정에서 가장 큰 제약 중 하나인 메모리 요구량을 근본적으로 낮추는 방법을 제시한다. 전통적인 Viterbi 학습은 전체 관측 시퀀스에 대한 최적 경로를 찾기 위해 전방‑후방 행렬을 모두 저장해야 하며, 확률적 EM(스톡캐스틱 EM) 역시 여러 샘플 경로를 생성하기 위해 전체 동적 계획표를 유지한다. 이러한 접근은 시퀀스 길이가 늘어날수록 O(L·N)·메모리(여기서 L은 시퀀스 길이, N은 상태 수) 복잡도를 초래한다. 논문은 두 알고리즘을 각각 “단일 패스, 선형 메모리” 형태로 재구성한다. 핵심 아이디어는 동적 계획 과정에서 필요한 정보만을 즉시 계산하고, 이전 단계의 결과를 바로 버퍼에 저장한 뒤 필요 없어진 순간 즉시 폐기하는 것이다. Viterbi 학습에서는 최적 경로를 역추적하기 위해 전방 점수와 선택된 전이만을 저장하고, 역방향 단계에서는 이 정보를 이용해 경로를 재구성한다. 확률적 EM에서는 샘플링 단계에서 현재 상태와 전이 확률만을 사용해 경로를 생성하고, 동시에 기대값을 누적한다. 이렇게 하면 메모리 사용량이 O(N) 수준으로 감소한다. 또한 두 알고리즘 모두 기존의 두 단계(전방‑후방 계산 후 파라미터 업데이트)와 달리 한 번의 순방향 스캔만으로 충분히 파라미터를 추정한다는 점에서 구현 복잡도가 크게 낮아진다. 구현 측면에서는 HMM‑Converter 컴파일러에 이 두 알고리즘을 통합했으며, 세 가지 작은 모델(예: 단순 2‑state 모델, DNA 서열 모델, 마이크로어레이 시계열 모델)을 대상으로 실행 시간, 메모리 사용량, 수렴 속도를 비교하였다. 실험 결과는 특히 긴 학습 시퀀스(수십만 길이)에서 메모리 절감 효과가 두드러졌으며, 수렴 품질은 기존 방법과 거의 동등하거나 약간 개선되는 수준을 보였다. 이러한 결과는 복잡한 생물학적 HMM(예: 유전자 구조 예측, 단백질 도메인 모델)에도 적용 가능함을 시사한다.