언어 규칙 순서 학습의 복잡도 혁신: 블록 알고리즘 개선

초록

본 논문은 언어 규칙의 순서를 학습하는 문제를 다루며, 기존 블록 알고리즘이 n²의 시간복잡도를 갖는다는 점을 재검토한다. 전이성을 가정한 삽입 방식으로 27개의 규칙을 377단계에 학습할 수 있음을 보여준 뒤, 이 과정을 이진 탐색과 병합 정렬 기법으로 확장해 O(n log n) 이하의 복잡도로 개선한다. 새로운 알고리즘의 수학적 분석과 복잡도 증명을 제공한다.

상세 분석

블록 알고리즘은 언어 규칙 사이에 존재하는 전이성(즉, A → B, B → C이면 A → C)이라는 가정을 기반으로 한다. 이 가정 하에 규칙들의 전체 순서를 찾기 위해서는 모든 n! 가능한 순열을 탐색할 필요가 없으며, 삽입 정렬과 유사한 절차를 통해 순차적으로 규칙을 배치한다. 구체적으로, 이미 정렬된 부분 집합에 새로운 규칙을 삽입할 때, 앞선 규칙과의 비교를 통해 올바른 위치를 찾는다. 이 과정은 최악의 경우 현재까지 정렬된 k개의 규칙과 모두 비교해야 하므로, 전체 n개의 규칙에 대해 Σ_{k=1}^{n-1} k = n(n‑1)/2 단계가 필요하다. 따라서 시간복잡도는 Θ(n²)이며, 27개의 규칙에 대해 27·26/2 = 351번의 비교가 필요하고, 추가적인 초기 비교를 포함하면 377단계가 도출된다.

하지만 Θ(n²) 복잡도는 n이 커질수록 비현실적인 학습 비용을 초래한다. 이를 개선하기 위해 저자는 삽입 과정에서 선형 탐색 대신 이진 탐색을 적용한다. 이진 탐색은 정렬된 부분 집합에 대해 로그 시간(log k)만에 삽입 위치를 찾을 수 있다. 따라서 전체 비용은 Σ_{k=1}^{n-1} ⌈log₂k⌉ ≈ n·log₂n 단계가 된다. 더 나아가, 병합 정렬과 같은 분할 정복 전략을 도입하면, 전체 순서를 한 번에 구축하면서도 O(n log n) 이하의 복잡도를 유지한다. 이러한 접근은 전이성 가정이 유지되는 한, 규칙 간 비교 결과가 일관된 순서를 보장한다는 전제 하에 가능하다.

수학적으로는, 전이성을 만족하는 관계를 전순서(partial order)라 할 수 있으며, 이 경우 위 알고리즘은 토포로지컬 정렬(topological sort)의 특수한 구현이다. 기존 블록 알고리즘은 토포로지컬 정렬을 선형 탐색 기반으로 구현한 것이고, 개선된 알고리즘은 이진 탐색 기반 토포로지컬 정렬 혹은 병합 기반 토포로지컬 정렬에 해당한다. 복잡도 분석 결과, 최악의 경우에도 O(n log n) 이하이며, 평균적인 경우에도 비슷한 수준을 유지한다. 따라서 언어 규칙 학습 모델을 실제 뇌의 학습 메커니즘에 더 가깝게 시뮬레이션할 수 있다.