삭제 채널에서 어휘 인식을 위한 부분수열 히스토그램 방법

초록

본 논문은 삭제 채널을 통해 전송된 부분수열을 이용해 두 개의 후보 어휘 집합 중 어느 집합에 속하는 원본 단어인지 판별하는 문제를 다룬다. 기존의 MAP 해법은 모든 가능한 부분수열 매핑을 열거해야 하므로 지수적 복잡도를 가진다. 저자들은 어휘를 사전 처리해 각 어휘의 부분수열 패턴을 히스토그램 형태로 저장하고, 이를 기반으로 다항식 시간 안에 근사 MAP 결정을 내리는 알고리즘을 제안한다. 실험을 통해 특정 경우에 정확히 MAP와 동일한 성능을 보이며, 생물정보학·스토리지·검색 엔진 등 다양한 분야에 적용 가능함을 보인다.

상세 분석

이 연구는 삭제 채널(deletion channel)이라는 통신 모델을 전제로 한다. 삭제 채널에서는 전송된 원본 문자열의 일부 문자만이 수신 측에 남게 되며, 남은 문자들의 순서는 변하지 않는다. 따라서 수신된 문자열은 원본 문자열의 부분수열(subsequence) 로 볼 수 있다. 문제 정의는 다음과 같다. 두 개의 서로 다른 어휘 집합 V₁, V₂가 주어지고, 각각은 알파벳 Σ 위의 문자열들의 유한 집합이다. 무작위로 선택된 어휘 V∈{V₁,V₂}와 그 안의 임의의 단어 w∈V가 삭제 채널을 통과해 부분수열 s를 만든다. 관측된 s가 주어졌을 때, 사후 확률 P(V₁|s)와 P(V₂|s) 중 어느 쪽이 큰지를 판단해 원본 어휘를 추정한다.

전통적인 MAP 해법은 P(s|V) = Σ_{w∈V} P(s|w)·P(w) 를 직접 계산해야 하는데, 여기서 P(s|w) 는 w에서 s가 생성되는 모든 가능한 삭제 패턴의 수를 세어야 함을 의미한다. w의 길이가 n, s의 길이가 m이라면 가능한 삭제 패턴의 수는 C(n,m) 로, 어휘에 포함된 모든 w에 대해 이를 합산하면 시간·공간 복잡도가 O(|V|·2ⁿ) 수준으로 급격히 증가한다.

저자들은 이 문제를 부분수열 히스토그램(subsequence‑histogram) 이라는 데이터 구조로 근사한다. 오프라인 단계에서 각 어휘 V에 대해 모든 단어 w∈V의 모든 부분수열을 열거하고, 각 부분수열 t에 대해 등장 횟수를 카운트한다. 이때 t는 길이 k (0≤k≤max_len) 의 문자열이며, 히스토그램은 차원 k와 문자열 t를 인덱스로 하는 다차원 배열 H_V