일반화 튜스탈 코드 생성의 선형 시간 구현

초록

본 논문은 튜스탈 코드 생성을 위한 알고리즘을 개선하여, 출력 심볼 수 n에 대해 O((1+log s / D)·n) 시간과 O(n) 공간만을 사용하도록 설계하였다. 이 방법은 이진 및 D-진 입력, i.i.d.·마코프 등 다양한 소스 모델을 모두 포괄하며, 기존의 O(n log n) 혹은 O(n²) 구현보다 현저히 빠른 성능을 제공한다.

상세 분석

튜스탈 코드는 가변 길이 입력을 고정 길이 출력으로 변환하는 변수‑대‑고정 코딩 기법으로, 특히 압축된 블록에 대한 무작위 접근성과 동기화 복구가 용이하다는 장점을 가진다. 전통적인 튜스탈 알고리즘은 가장 확률이 큰 잎을 반복적으로 분할하는 그리디 방식을 사용하지만, 구현 시에는 모든 잎을 우선순위 큐에 삽입하고 매 단계마다 최대 확률 잎을 찾아야 하므로 O(n log n) 혹은 최악의 경우 O(n²) 복잡도가 발생한다.

본 논문은 이 문제를 두 개의 단순 큐(왼쪽, 오른쪽)로 대체하는 “이진 두‑큐 알고리즘”을 제안한다. 이 방법은 이진 입력(베르누이)에서만 적용 가능하지만, 잎을 분할할 때 생성되는 두 자식의 확률이 기존 잎보다 작아지는 성질을 이용해 각 큐에 삽입되는 순서가 이미 비내림차순임을 보장한다. 따라서 가장 큰 확률 잎은 두 큐의 헤드 중 큰 쪽을 선택하면 되며, 이는 O(1) 시간에 수행된다.

비이진 및 마코프와 같은 일반화된 소스 모델에서는 잎의 종류가 D개이며, 상태 수 s가 존재한다. 여기서는 각 (조건부 확률, 입력 상태, 출력 상태) 조합을 하나의 “정규 큐”로 관리하고, 이 정규 큐들의 헤드를 가리키는 우선순위 큐(PQ)를 별도로 두어 가장 작은 f값(일반적으로 -ln p) 을 가진 잎을 선택한다. f는 확률에 대한 단조 감소 함수이며, i.i.d. 경우 -ln p 로 설정하면 최적 코드를 얻는다.

복잡도 분석에 따르면, 전체 잎 수를 n이라 할 때 분할 횟수는 ⌈(n‑1)/(D‑1)⌉이며, 각 분할은 D개의 정규 큐 삽입(O(D))과 PQ에서의 삭제·삽입(O(log g))을 포함한다. 여기서 g는 가능한 (조건부 확률, 상태, 노드) 조합 수이며, g ≤ D·s² 로 제한된다. 따라서 전체 시간은 O((1+log s / D)·n)이며, 공간은 트리와 큐들을 합쳐 O(n)이다.

알고리즘의 주요 강점은

1. 선형 시간: 입력 심볼 수에 비례하는 시간만 사용하므로 대규모 데이터에 적합한다.
2. 범용성: D‑진, 마코프, 비동질 소스까지 확장 가능하며, f함수만 교체하면 서브옵티멀 코드도 손쉽게 생성한다.
3. 구현 단순성: 기본 이진 버전은 두 개의 배열 기반 큐만으로 구현 가능하고, 일반화 버전도 표준 힙 구조만으로 충분히 구현할 수 있다.

한계점으로는 g가 매우 커질 경우(log g)·n 단계가 실제 상수보다 크게 부풀어 오버헤드가 발생할 수 있다는 점이다. 또한, f함수 선택에 따라 최적성 보장이 약해질 수 있으며, 마코프 상태가 많아질수록 메모리 사용량이 증가한다. 그럼에도 불구하고, 기존의 O(n log n) 구현에 비해 실질적인 속도 향상이 입증되었으며, 특히 실시간 압축·전송 시스템에서 유용하게 적용될 수 있다.