HPRMAT: 핵물리학 결합 채널 문제를 위한 GPU 가속 고성능 R 행렬 솔버

초록

핵물리학의 R-행렬 결합 채널 산란 계산에서 발생하는 대규모 복소수 선형 시스템을 해결하기 위한 고성능 솔버 라이브러리인 HPRMAT을 소개한다. 기존 코드의 선형 대수 루틴을 대체하는 ‘드롭인’ 방식으로 설계되었으며, 최적화된 라이브러리를 활용한 직접 선형 방정식 풀이, 혼합 정밀도 산술, GPU 가속 등 4가지 솔버 백엔드를 제공한다. 특히 소비자급 GPU에서 단정밀도 연산을 활용한 혼합 정밀도 전략으로 이중 정밀도 정확도를 유지하면서 최대 9배의 성능 향상을 달성하여, 대규모 계산이 일반 데스크톱 워크스테이션에서도 가능하도록 했다.

상세 분석

HPRMAT 논문은 핵물리학의 전통적인 계산 병목 현상을 현대적인 HPC 기법으로 해결한 사례를 제시한다. 핵심 기술적 통찰은 다음과 같다.

첫째, 문제의 구조적 특성에 대한 깊은 이해에서 비롯된 알고리즘 선택이다. R-행렬 방법으로 유도된 행렬은 국소 포텐셜 하에서 블록 구조(대각 블록=밀집 행렬, 비대각 블록=대각 행렬)를 가지나, LU 분해 과정에서 빠르게 채워지기 때문에 희소 행렬 솔버나 반복법의 이점을 살리기 어렵다. 저자는 블록 가우스 소거법, 블록 토마스 알고리즘, GMRES 등 다양한 대안을 시도한 후, 이 ‘채움 현상’과 싸우기보다 밀집 직접법을 최적화하는 것이 최선임을 확인했다. 이는 수치 선형대수학의 이론적 지식과 실제 문제에 대한 실험적 검증이 결합된 결정이다.

둘째, 하드웨어 특성을 극대화한 혼합 정밀도 전략이다. NVIDIA RTX 3090/4090과 같은 소비자급 GPU는 단정밀도(FP32) 대비 이중 정밀도(FP64) 성능이 극히 낮은 단점이 있다. HPRMAT은 이 한계를 LU 분해는 단정밀도로 수행하고, 그 해를 초기값으로 한 반복 세밀화 과정을 통해 이중 정밀도 정확도를 회복하는 방식으로 돌파했다. 이는 메모리 대역폭과 연산 속도를 절감하면서도 수치적 안정성을 보장하는 교묘한 절충안이다.

셋째, 실용성을 고려한 소프트웨어 설계 철학이다. HPRMAT은 완전한 새로운 R-행렬 패키지가 아니라, 널리 사용되는 Descouvemont의 코드와의 ‘드롭인 호환성’을 최우선으로 설계되었다. 기존 사용자는 코드를 거의 수정 없이 성능 향상을 즉시 누릴 수 있다. 또한 포트란 전용의 전통적인 과학 커뮤니티를 넘어 C, 파이썬, 줄리아 인터페이스를 제공함으로써 현대적인 과학 워크플로우에의 통합 용이성을 높였다.

성능 벤치마크 결과(최대 18배 향상)는 단순한 GPU 이식의 성과를 넘어, 알고리즘 개선(역행렬 계산에서 직접 LU 풀이로 전환), CPU 최적화(OpenBLAS 활용), 그리고 위의 혼합 정밀도 전략이 복합적으로 작용한 결과물이다. 이는 도메인 특화 소프트웨어의 성능 최적화가 특정 하드웨어 가속에만 의존하지 않고, 알고리즘, 소프트웨어 스택, 하드웨어 특성에 대한 총체적인 접근이 필요함을 보여준다.