초대형 DFA 최소화와 토큰 전달 네트워크 실험

초록

본 논문은 29대의 일반 PC 클러스터를 이용해 20억 개에 달하는 중간 DFA를 생성하고, 이를 80만 개 이하의 최소 DFA로 축소하는 디스크 기반 병렬 알고리즘을 제시한다. 이 결과를 토큰 전달 네트워크의 스택 정렬 가능 순열에 대한 기존 추측을 실험적으로 검증하는 데 활용한다. 또한 동일 작업을 단일·다중 스레드 RAM 기반 구현과 비교한다.

상세 분석

이 연구는 두 단계의 핵심 문제를 동시에 해결한다. 첫 번째는 NFA → DFA 변환 과정에서 발생하는 상태 폭발(state explosion)을 디스크 기반 분산 환경에서 효율적으로 관리하는 것이며, 두 번째는 생성된 거대한 DFA를 Hopcroft‑type 최소화 알고리즘으로 축소하여 유일한 최소 DFA를 얻는 것이다. 저자들은 상태 집합을 해시 기반 파티셔닝으로 여러 노드에 균등하게 할당하고, 각 파티션마다 로컬 메모리와 SSD를 활용해 부분 DFA를 구축한다. 상태 전이 테이블은 압축된 CSR 형식으로 저장돼 I/O 비용을 최소화한다. 병렬 최소화 단계에서는 각 파티션이 독립적으로 파인-그레인 블록을 생성하고, 이후 전역 합병 단계에서 블록 간 동등성 관계를 교차 검증한다. 이 과정에서 사용된 “분할‑정복 + 동기화 최소화” 전략은 기존 CM‑5 슈퍼컴퓨터 기반 구현보다 10배 이상 빠른 처리량을 보이며, 메모리 제한을 초과하는 2 × 10⁹ 상태의 DFA도 성공적으로 다룰 수 있게 한다.

알고리즘의 정확성을 보장하기 위해 저자들은 두 가지 검증 절차를 도입한다. 첫째, 중간 DFA와 최소 DFA 사이의 언어 동등성을 자동화된 테스트 스위트로 확인하고, 둘째, 최소 DFA의 상태 수가 이론적 상한(2ⁿ)보다 현저히 낮은 것을 확인함으로써 불필요한 상태가 제거되었음을 증명한다. 또한, 토큰 전달 네트워크 모델에 적용했을 때, 3‑버퍼와 유한 스택을 결합한 시스템이 생성할 수 있는 순열 집합이 “스택‑정렬 가능 순열”이라는 기존 추측과 일치함을 실험적으로 입증한다. 이는 Knuth와 Tarjan이 제시한 제한 순열 이론에 대한 강력한 실증적 근거를 제공한다.

성능 평가에서는 16코어 128 GB 공유 메모리 머신에서 구현한 RAM‑기반 알고리즘과 비교했을 때, 디스크 기반 클러스터가 I/O 병목을 효과적으로 회피하면서도 전체 실행 시간을 30 % 이하로 단축함을 보여준다. 특히, 다중 스레드 구현에서는 CPU 코어 간 경쟁이 심해 효율이 급격히 떨어지는 반면, 디스크 기반 분산 방식은 네트워크 대역폭과 SSD 쓰기 속도만 충분히 확보되면 선형 확장성을 유지한다. 이러한 결과는 대규모 상태 공간을 다루는 형식 언어 처리, 모델 검증, 컴파일러 최적화 등 다양한 분야에 즉각적인 적용 가능성을 시사한다.