정밀 구간 연산으로 구현한 슈너게 스트라센 정수 곱셈의 실용적 확장

초록

본 논문은 복소수 구간 연산을 이용해 슈너게‑스트라센 알고리즘의 부동소수점 구현에서 발생하는 반올림 오차를 보장한다. 이론적 복잡도는 O(n log n)이며, 실험에서는 75 000자리(256진) 정수를 이중 정밀도 구간으로 정확히 곱할 수 있음을 보여준다. 현재 구현은 상용 라이브러리에 비해 속도가 뒤처지지만, 하드웨어 한계와 오류 관리 방식을 체계화한 점에서 실용적 가능성을 제시한다.

상세 분석

슈너게‑스트라센 알고리즘은 푸리에 변환 기반의 분할 정복 방식으로, n자리 정수를 O(n log n) 복소수 연산으로 곱한다. 이때 복소수 연산은 무한 정확도의 실수 체계 위에서 정의되지만, 실제 구현에서는 고정·부동소수점 연산으로 근사한다. 근사 과정에서 발생하는 반올림 오차는 FFT 단계와 역FFT 단계에서 누적될 수 있어, 최종 결과가 정확히 정수가 되지 않을 위험이 있다. 기존 연구는 가변 정밀 고정소수점 또는 다중 정밀 라이브러리를 사용해 오차를 수학적으로 상한을 잡았지만, 하드웨어 친화적인 이중·단정밀 부동소수점에서는 이러한 상한을 직접 계산하기 어렵다.

논문은 복소수 구간 연산(interval arithmetic)을 도입해 이 문제를 해결한다. 구간 연산은 각 복소수 값을 상한·하한으로 감싸는 사각형(또는 원) 형태의 구간으로 표현하고, 연산 규칙에 따라 새로운 구간을 생성한다. 이렇게 하면 연산 과정에서 발생하는 모든 반올림 오차가 구간에 포함되므로, 최종 역FFT 결과가 실제 정수값을 포함하는지 여부를 확실히 판단할 수 있다. 구간 폭이 충분히 작으면 정수값이 유일하게 결정되며, 이때는 구간을 좁혀 정수로 반올림한다.

핵심 기술적 기여는 다음과 같다. 첫째, 복소수 FFT와 역FFT에 구간 연산을 적용하는 구체적 알고리즘을 설계하고, 각 단계에서 오차 전파를 정량화하였다. 둘째, 이론적 분석을 통해 구간 폭이 O(2⁻⁵³) 수준인 이중 정밀도(double‑precision) 부동소수점에서도 256진수 기반 75 000자리 정수까지 정확히 곱할 수 있음을 증명했다. 셋째, 구현 시 하드웨어 레벨에서 SIMD 명령어와 캐시 친화적 메모리 레이아웃을 활용해 구간 연산의 오버헤드를 최소화하였다.

실험 결과는 두 가지 관점에서 의미가 있다. 첫째, 구간 기반 구현이 실제로 “오류 없는” 결과를 제공한다는 점이다. 모든 테스트 케이스에서 역FFT 후 구간이 정수 하나만을 포함했으며, 이는 전통적인 부동소수점 구현에서 종종 발생하는 미세한 오차와는 대조적이다. 둘째, 성능 측면에서는 현재 구현이 GMP나 OpenSSL 같은 최적화된 상용 라이브러리보다 약 2~3배 느리다. 이는 구간 연산이 추가적인 연산과 메모리 접근을 요구하기 때문이다. 그러나 논문은 이러한 성능 격차가 알고리즘 최적화와 하드웨어 가속(예: AVX‑512, GPU) 도입으로 크게 줄어들 수 있음을 시사한다.

또한 논문은 하드웨어 한계에 대한 분석을 제공한다. 이중 정밀도 구간의 폭은 약 1 × 10⁻¹⁶이므로, FFT 단계에서 입력값이 2ⁿ 규모로 커지면 구간이 급격히 확대된다. 이를 방지하기 위해 입력을 적절히 스케일링하고, 필요 시 다중 구간(다중 정밀도)으로 전환하는 전략을 제안한다. 이러한 전략은 구간 폭이 허용 오차 이하로 유지되는 한, 하드웨어가 제공하는 최대 정밀도 내에서 정확성을 보장한다.

결론적으로, 복소수 구간 연산을 활용한 슈너게‑스트라센 구현은 부동소수점 환경에서도 수학적 정확성을 확보할 수 있는 실용적인 방법을 제시한다. 현재는 성능이 상용 솔루션에 미치지 못하지만, 하드웨어 가속과 알고리즘 최적화를 통해 실용적인 수준에 도달할 가능성이 충분히 있다.