소수 기반 순서를 이용한 Buchberger 알고리즘 성능 향상

초록

소수로 변수들을 인코딩해 거듭제곱곱을 정수로 변환하고, 이를 자연수 순서로 정렬하는 ‘소수 기반 순서’를 도입하였다. Eiffel로 구현한 Buchberger 개선 알고리즘 네 버전(문자열·정수 표현, 64‑bit·GMP 계수)에서 정수 연산만으로 모노미얼 연산을 수행함으로써 대부분의 테스트에서 30 % 이상, 최대 96.8 %의 실행 시간 감소와 다항식 개수 감소를 확인하였다.

상세 분석

본 논문은 다항식 이상 이론에서 핵심적인 Gröbner 기저 계산을 가속화하기 위해 ‘소수 기반 순서(prime‑based ordering)’를 제안한다. 변수 xi를 서로 다른 소수 pi에 일대일 대응시키고, 모노미얼 t = x1^α1·…·xn^αn을 정수 n_t = ∏ pi^αi 로 변환한다. 정수의 자연수 순서를 그대로 모노미얼 순서로 사용하면, admissibility 조건(1)·t≠1 ⇒ 1<t, (2)·s<t ⇒ s·u<t·u 가 만족됨을 증명한다. 따라서 기존의 사전식, 전역 차수 등과 달리 완전한 전순서가 확보된다.

구현 측면에서는 Eiffel 객체지향 언어를 이용해 Buchberger의 개선 알고리즘을 네 가지 변형으로 구현하였다. (1) 문자열 기반 전역 차수 순서, 64‑bit 정수 계수; (2) 문자열 기반 전역 차수 순서, GMP 다중정밀 계수; (3) 소수 기반 정수 순서, 64‑bit 정수 계수; (4) 소수 기반 정수 순서, GMP 다중정밀 계수. 문자열 버전은 모노미얼을 문자열 “aaabbc” 형태로 저장해 곱셈·공통배수·최대공약수 연산을 반복·재귀적으로 수행한다. 반면 소수 기반 버전은 모노미얼을 단일 정수로 표현하므로 곱셈·나눗셈·LCM·GCD가 모두 정수 연산으로 대체된다. 이는 연산 복잡도를 크게 낮추어 CPU 캐시 효율을 높이고, 메모리 할당·해제 비용을 감소시킨다.

실험에서는 12개의 표준 다항식 집합(예: Cyclic 4/5, Gerdt 1‑3, Katsura 4, Arnold 1‑2 등)과 자체 제작 예제를 사용하였다. 64‑bit 계수 환경에서 소수 기반 구현은 평균 30 % 이상, 최대 96.8 %(≈30배)까지 실행 시간을 단축했으며, 생성된 Gröbner 기저의 다항식 수가 전역 차수 버전보다 현저히 적어(예: Gerdt 1에서 56→36개) 메모리 사용량도 감소했다. 다만 변수 순서에 따라 성능 차이가 발생했으며, 특정 경우(예: Katsura 4)에는 전역 차수 순서가 더 빠른 경우도 관찰되었다. 변수 순열 실험에서는 소수 기반이 전체적으로 30 %~46 % 정도 우위를 보였지만, 일부 경우에는 16.7 % 정도 뒤처졌다.

또한 구현상의 문제점도 보고한다. 64‑bit 계수만 사용할 경우 오버플로가 발생해 계산이 중단되는 사례가 있었으며, 이를 해결하기 위해 GMP 라이브러리를 도입하였다. 그러나 Eiffel과 GMP 간의 인터페이스에서 가비지 컬렉션이 활성화된 상태에서는 메모리 해제 시 충돌이 발생해 프로그램이 크래시되는 버그가 발견되었다. 가비지 컬렉션을 비활성화하면 충돌은 사라지지만 메모리 사용량이 급증해 디스크 스와핑이 발생, 실질적인 성능 저하가 일어났다. 이러한 문제는 향후 메모리 관리 최적화와 언어‑라이브러리 연동 개선이 필요함을 시사한다.

결론적으로, 소수 기반 순서는 이론적으로 admissible 하며, 실제 구현에서 모노미얼 연산을 정수 연산으로 단순화함으로써 Buchberger 개선 알고리즘의 실행 시간을 크게 단축시킨다. 그러나 변수 순서와 계수 크기에 따라 성능 변동이 존재하고, 메모리 관리 이슈가 남아 있어 추가 연구가 요구된다.