문자열 확률 모델의 선형대수 접근법

본 논문은 문자열을 확률 변수로 갖는 그래픽 모델, 특히 진화 과정에서 삽입·삭제를 모델링하는 TKF91과 같은 인델(indel) 모델의 정규화(normalization) 문제를 선형대수적 관점에서 재조명한다. 기존 연구는 조합론, 동적계획법, 그래프 이론 등을 이용해 정규화 복잡도를 분석했지만, 저자는 자동자와 전이자를 행렬 집합으로 표현함으로써 보다 직관적인 증명을 제공한다. 1. **문제 정의와 팩터 그래프** - phylogeny τ=(V,E)와 각 정점 v∈V에 문자열 변수 X_v∈Σ*를 할당한다. - 루트의 사전분포 θ(s)와 각 간선 (pa(v)→v)의 전이 확률 θ_v(s,s′)를 가중 전이자(transducer)로 모델링한다. - 관측된 잎 노드 L의 문자열은 지시 함수(Dirac delta)로 고정한다. - 전체 확률 P_τ(Y)는 팩터 그래프의 모든 팩터의 곱을 전체 문자열 공간에 대해 합한 형태로 표현된다(식 (1)). 2. **가중 자동자·전이자의 행렬 표현** - 자동자: 상태 집합 Q={1,…,K}와 확장 문자 집합 ˆΣ=Σ∪{ε}에 대해 각 문자 σ̂마다 K×K 행렬 M_{σ̂}를 정의한다. M_{σ̂}(i,j)는 상태 i→j 전이 시 σ̂를 방출하는 가중치이다. - 전이자: 두 문자 쌍 (σ̂,σ̂′)에 대해 동일한 방식으로 행렬을 정의한다. - 문자열 s가 자동자를 통과할 때의 가중치는 σ̂ 순서대로 행렬을 곱한 뒤 (시작 상태, 종료 상태) 원소를 추출함으로써 얻어진다. 3. **소거 알고리즘의 토폴로지 해석** - 전통적인 메시지 전달 대신, 변수(문자열 노드)와 팩터를 차례로 제거하면서 그래프 구조 자체를 변형한다. - **마지날화**(변수 제거): 해당 변수에 연결된 모든 팩터를 행렬 곱으로 결합해 새로운 팩터를 만든다. 이는 행렬 곱 연산으로 구현된다. - **점곱**(팩터 제거): 두 경우로 나뉜다. (i) 변수와 이진 팩터가 동시에 연결된 경우 → 크로네커 곱을 이용해 새로운 행렬을 만든다. (ii) 그렇지 않은 경우 → 단순 행렬 곱으로 대체한다. - 이 과정에서 전체 정규화값은 변하지 않으며, 최종적으로 하나의 유니터리 팩터만 남게 된다. 4. **삼각형 문제와 복잡도 개선** - 저자는 “삼각형 문제(triangular problems)”를 정의한다. 이는 모든 인덱스 행렬이 상삼각(또는 하삼각) 형태를 유지하는 경우를 말한다. - 삼각형 구조가 유지되면 크로네커 곱 후에도 삼각 형태가 보존되므로, 행렬 연산의 복잡도가 O(K³)로 제한된다. - TKF91 모델의 전이자와 자동자는 모두 삼각형 구조를 가지며, 따라서 별형 트리와 완전 이진 트리에서 정규화 계산의 최악 시간 복잡도는 O(N·K³) (N은 트리의 노드 수)이다. 이는 기존 조합론 기반 결과와 일치하지만, 증명이 훨씬 간결하고 다른 모델에도 바로 적용 가능하다. 5. **구현적 함의** - 행렬 기반 구현은 기존 동적계획법 대비 메모리 사용량을 크게 줄인다. 특히, 행렬 곱과 크로네커 곱은 고성능 BLAS 라이브러리를 활용할 수 있어 실험적 실행 속도가 향상된다. - 베이지안 MCMC에서 매 반복마다 트리 가능도 P_τ(Y)를 재계산해야 하는 상황에 유리하다. 삼각형 가정이 성립하면 각 반복마다 O(N·K³) 연산만으로 가능도를 얻을 수 있다. - 삼각형 가정이 깨지는 일반 전이자에 대해서는 기존 전이자 알고리즘과 동일한 복잡도를 유지하지만, 선형대수 프레임워크를 통해 코드 재사용성과 검증이 용이해진다. 6. **결론 및 향후 연구** - 선형대수적 접근법은 문자열 기반 확률 모델의 정규화 문제를 보다 구조화된 방식으로 다룰 수 있음을 보였다. - 삼각형 구조를 이용한 복잡도 분석은 TKF91뿐 아니라, 확장된 indel 모델이나 복합 전이자 모델에도 적용 가능하다. - 향후 연구에서는 비삼각형 전이자를 위한 효율적인 근사 방법, 그리고 행렬 기반 프레임워크를 활용한 GPU 가속 구현 등을 탐색할 예정이다.