가우시안 알고리즘을 새롭게 바라보다: 행렬 재작성과 최악 사례 분석

초록

본 논문은 정수 행렬(행렬식 ±1) 군에서의 재작성 시스템을 도입하고, 이를 이용해 2차 격자에서 최단 벡터를 찾는 가우시안 알고리즘의 동작 메커니즘을 정확히 규정한다. 재작성 규칙과 격자 감소 이론을 결합해 기존의 기하학적 접근법보다 일반적인 가우시안 알고리즘에 대한 최악‑case 반복 횟수 상한을 도출한다. 또한 이 방법을 정렬 알고리즘 분석에도 적용한다.

상세 분석

논문은 먼저 unimodular 행렬군 GL₂(ℤ) 내에서 정의된 두 종류의 기본 재작성 규칙, 즉 행 교환과 행 정수 결합(행 i ← 행 i ± k·행 j)을 제시한다. 이러한 규칙은 가우시안 알고리즘이 수행하는 ‘베이컨 변환’과 일대일 대응함을 보이며, 각 변환 단계는 격자 기반의 베이시스 벡터 (b₁,b₂)를 새로운 베이시스로 교체하는 과정으로 해석된다. 저자는 이 재작성 시스템을 ‘정규 형태’(reduced form)라 부르는 특수한 형태까지 수렴하도록 설계했으며, 이때의 정규 형태는 바로 가우시안 알고리즘이 반환하는 최단 벡터 쌍과 일치한다.

핵심은 재작성 규칙의 적용 순서를 ‘단어’(rewrite word)로 기록하고, 그 단어의 길이가 알고리즘 반복 횟수가 된다는 점이다. 이를 통해 가우시안 알고리즘의 실행을 ‘문자열 압축’ 문제로 전환한다. 저자는 모든 가능한 입력 베이시스에 대해 최악의 경우를 초래하는 단어를 구성하고, 그 길이가 Vallée가 제시한 기하학적 상한과 동일함을 증명한다. 특히, 재작성 시스템이 제공하는 대수적 관점은 기존의 ‘볼록 다각형 내부 이동’ 해석보다 더 일반적이며, 차원 확대에 대한 귀납적 접근을 가능하게 한다.

또한, 논문은 LLL‑like 알고리즘의 다차원 일반화에 대한 가능성을 논의한다. 다차원에서는 행 교환과 행 결합이 복합적으로 작용하므로, 재작성 규칙의 군론적 구조를 이용해 ‘정규 형태’에 대한 존재와 유일성을 보장하는 것이 핵심 과제로 남는다. 마지막으로, 정렬 알고리즘 분석 섹션에서는 삽입 정렬과 버블 정렬을 동일한 재작성 시스템(리스트 교환 및 인접 원소 교환)으로 모델링하고, 최악‑case 비교를 통해 가우시안 알고리즘과의 구조적 유사성을 강조한다.

이러한 대수적·문법적 접근은 알고리즘 복잡도 분석에 새로운 도구를 제공하며, 특히 격자 기반 암호학에서의 보안 파라미터 설정이나 고차원 LLL 변형의 최악‑case 성능 예측에 유용할 것으로 기대된다.