제한된 자원과 유한 자동기로 보는 예측 복잡도

초록

본 논문은 무작위 이진열의 복잡성을 유한 상태 자동기(FA)의 상태 수로 지표화한다. 자동기를 “생성 메커니즘”으로 두고, m개의 상태를 가진 FA에 모든 이진열을 입력해 편향된 시퀀스 집합을 만든다. 이후 이러한 생성 메커니즘으로부터 나온 시퀀스를 최적 예측 알고리즘으로 복원하는 방법을 제시한다.

상세 분석

이 연구는 전통적인 확률론에서 측도 역할을 하는 ‘생성 메커니즘’이라는 함수를 도입함으로써, 무작위 시퀀스의 복잡성을 새로운 관점에서 정의한다. 구체적으로, m개의 상태를 가진 유한 상태 자동기(Finite Automaton, FA)를 사용해 모든 가능한 이진열에 대해 출력 함수를 적용한다. 자동기의 전이와 출력 규칙은 고정되어 있으나 초기 상태와 입력 시퀀스에 따라 출력 시퀀스가 달라지며, 이는 기존의 균등 확률분포와는 다른 편향된 분포를 만든다. 이러한 편향은 자동기의 구조적 복잡성, 즉 상태 수 m에 직접적으로 연결된다. 따라서 m이 클수록 생성 가능한 시퀀스의 다양성과 복잡도가 증가한다는 직관적 해석이 가능하다.

논문은 먼저 “생성 메커니즘”을 수학적으로 정의하고, 이를 통해 얻어지는 시퀀스 집합을 Σ_m이라 표기한다. Σ_m은 m-상태 자동기에 의해 생성될 수 있는 모든 출력 시퀀스의 집합이며, 각 시퀀스는 동일한 확률이 아니라 자동기의 전이 확률에 의해 가중된다. 이어서 저자는 예측 문제를 두 단계로 나눈다. 첫 번째는 관측된 부분 시퀀스 x₁…x_t 로부터 현재 자동기의 내부 상태를 추정하는 “상태 추정” 단계이며, 두 번째는 추정된 상태와 자동기의 전이·출력 규칙을 이용해 다음 비트 x_{t+1} 를 예측하는 “예측” 단계이다.

핵심 기여는 두 단계 모두에 대해 최적 알고리즘을 제시한 점이다. 상태 추정 단계에서는 베이즈 업데이트를 이용해 가능한 상태들의 사후 확률을 계산한다. 자동기의 전이 행렬이 알려져 있기 때문에, 관측된 시퀀스에 대한 사후 분포는 O(m) 시간 복잡도로 갱신될 수 있다. 예측 단계에서는 사후 확률이 가장 높은 상태에서 자동기가 출력할 다음 비트의 확률을 직접 구한다. 이때 기대 손실을 최소화하는 예측 규칙은 “가장 높은 사후 확률을 가진 상태가 출력할 비트를 선택”하는 단순한 형태가 된다.

또한 저자는 이 알고리즘이 정보 이론적 한계, 즉 최소 평균 손실(Minimum Expected Loss)와 일치함을 증명한다. 이는 자동기의 구조적 제한(상태 수 m) 하에서 가능한 최선의 예측 성능을 의미한다. 복잡도 측면에서 보면, 전체 알고리즘은 O(m·t) 시간과 O(m) 공간을 사용하므로, 상태 수가 제한된 현실적인 시스템에서도 실시간 예측이 가능하다.

마지막으로, 논문은 실험을 통해 m=2,3,4인 자동기로부터 생성된 시퀀스에 대해 제안된 알고리즘이 기존의 마코프 체인 기반 예측기보다 월등히 낮은 오류율을 보임을 확인한다. 특히, 상태 수가 증가함에 따라 예측 정확도가 비선형적으로 향상되는 현상이 관찰되었으며, 이는 복잡도와 예측 성능 사이의 트레이드오프를 정량화하는 데 중요한 근거가 된다.