가중치 문맥 자유 언어의 중복 없는 무작위 단어 생성 알고리즘

초록

이 논문은 가중치가 부여된 문맥 자유 언어에서 길이 n인 단어 k개를 중복 없이, 그리고 미리 지정된 금지 단어 집합을 회피하면서 무작위로 생성하는 문제를 다룬다. 기존의 거부 기반 방법은 최악의 경우 k에 대해 지수적 시간 복잡도를 보이며, 특히 쿠폰 수집 문제와 유사한 상황에서 비효율적이다. 저자들은 재귀적 방법과 순위 매김(unranking) 기법을 활용한 두 가지 새로운 알고리즘을 제안하고, 사전 계산 Θ(n)개의 수를 이용해 전체 O(k·n·log n) 연산으로 중복 없는 생성을 달성한다는 이론적·실험적 결과를 제시한다.

상세 분석

논문은 먼저 가중치 문맥 자유 언어(Weighted Context‑Free Language, WCFL)의 정의와, 길이 n인 파생 트리를 통해 단어에 확률을 부여하는 방식을 명확히 한다. 전통적인 무작위 생성 기법은 “거부(rejection) 방식”을 사용해 이미 생성된 단어나 금지 집합에 속하는 경우를 반복적으로 버린다. 저자들은 이 방법이 특정 가중치 분포, 특히 한두 개의 단어에 높은 가중치가 집중되는 경우 k가 커질수록 기대 재시도 횟수가 급격히 증가함을 수학적으로 증명한다. 특히, 모든 가능한 단어를 한 번씩 뽑아야 하는 쿠폰 수집 문제와 동등한 상황에서는 평균 Θ(k·log k)번의 재시도가 필요해 전체 복잡도가 지수적으로 악화된다.

이를 극복하기 위해 두 가지 대안 알고리즘을 설계한다. 첫 번째는 “재귀적 방법”으로, 문법 규칙을 트리 구조로 전개하면서 각 비단말 기호에 대해 가중치 누적합을 사전 계산한다. 생성 과정에서는 현재 비단말 기호의 가중치 분포에 따라 무작위로 파생 규칙을 선택하고, 이미 선택된 단어를 추적해 중복을 방지한다. 핵심은 “부분 트리 가중치 테이블”을 이용해 O(log n) 시간 내에 규칙 선택을 수행하고, 선택된 단어를 해시 테이블에 삽입해 O(1) 시간에 중복 여부를 검사한다는 점이다.

두 번째는 “순위 매김(unranking) 접근법”이다. 모든 가능한 파생 트리를 사전 순위(lexicographic rank)와 매핑하고, 가중치에 따라 누적 확률 분포를 만든 뒤, 무작위 실수 u∈