GPU를 활용한 QDP++ 가속화

초록

본 논문은 QDP++ 라이브러리의 표현식 템플릿(ET) 평가를 CUDA 기반 GPU에서 실행하도록 확장한다. JIT 컴파일과 PETE 엔진을 이용해 호스트와 디바이스 메모리 사이에 표현식 트리를 전송·복원하고, 새로운 API를 통해 데이터 전송과 메모리 관리가 자동화된다. Jacobi 스미어링 예제를 통해 CPU 대비 10배 이상(대규모 격자) 향상된 성능을 입증한다.

상세 분석

QDP++는 격자 양자색역학(Lattice QCD) 계산에 널리 쓰이는 C++ 벡터 클래스 라이브러리이며, Chroma 프레임워크의 핵심 데이터 구조와 연산을 제공한다. 기존에는 CPU 전용으로 구현돼 있었고, 연산 집약적인 솔버 외의 부분은 최적화가 부족했다. 저자는 CUDA 4.0이 제공하는 C++ 지원을 활용해, 표현식 템플릿(ET) 기법을 디바이스 메모리 영역에서도 그대로 적용할 수 있는 방법을 제시한다. 핵심 아이디어는 다음과 같다.

1. JIT 기반 동적 커널 생성: 표현식 평가 함수가 호출될 때, PETE가 생성한 ‘pretty‑print’ 문자열을 외부 코드 생성기에 전달한다. 이 코드는 C++/CUDA 소스 파일을 만들고 NVCC로 컴파일해 공유 라이브러리 형태의 커널을 만든다. 런타임에 dlopen으로 로드하고 즉시 실행한다. 이렇게 하면 각 고유 표현식에 대해 한 번만 커널이 생성되므로 재사용성이 확보된다.

2. 표현식 트리 플래튼 및 POD 전송: PETE는 호스트 측에서 표현식 트리를 순회하면서 연산자별 런타임 파라미터(예: 스케일링 상수, 시프트 인덱스 등)만을 추출한다. 이 POD 데이터는 연속 메모리 버퍼에 저장돼 CUDA 커널 인자로 전달된다. 디바이스에서는 동일한 순서로 객체를 재구성해 원래의 트리를 복원한다. 복잡한 연산자(예: shift)에는 필요 시 사이트 테이블을 한 번만 디바이스에 복사하고 이후 호출에서는 재사용하도록 캐시 메커니즘을 도입했다.

3. 혼합 메모리 모델: 격자 전체 데이터를 호스트 메모리에 유지하면서, 필요 시 pushToDevice()를 호출해 페이지‑잠금(pinned) 메모리를 이용해 직접 디바이스로 전송한다. 이는 기존의 staging buffer를 없애고 전송 오버헤드를 최소화한다. 또한 popFromDevice()와 freeDeviceMem()을 통해 명시적 메모리 해제를 지원한다.

4. 스레드·사이트 매핑 파라미터: CUDA 블록당 스레드 수(N_threads)와 스레드당 처리 격자 사이트 수(N_site)를 사용자 정의 파라미터로 제공한다. 이는 표현식마다 최적의 워프 활용도와 메모리 접근 패턴을 찾을 수 있게 해준다. 저자는 자동 튜닝 가능성을 언급했지만, 현재는 실험적으로 몇 가지 조합을 선택해 성능을 측정했다.

5. 성능 평가: Jacobi 스미어링 루틴을 사례 연구로 삼아, 3‑차원 격자(예: 32×32×32)에서 CPU 단일 코어 기준 1.5 GFLOPS에 비해 GPU에서는 11 ~ 21 GFLOPS를 달성했다. 특히 격자 규모가 커질수록 GPU 가속 비율이 크게 증가했으며, 이는 메모리 대역폭과 연산 집약도가 높은 부분이 GPU에 적합함을 보여준다.

이러한 설계는 QDP++가 제공하는 모든 연산을 개별적으로 CUDA 커널로 포팅할 필요 없이, 표현식 수준에서 자동으로 가속화할 수 있게 만든다. 따라서 기존 Chroma 코드베이스를 크게 수정하지 않고도 이기종 환경에서 효율적인 협업 컴퓨팅이 가능해진다. 또한, PETE와 JIT 컴파일을 결합한 접근법은 다른 과학 분야의 템플릿 기반 라이브러리에도 확장 적용이 가능할 것으로 기대된다.