GPU 네이티브 컴파일을 위한 이론적 기반

초록

본 논문은 AI 코드 생성 시스템에서 발생하는 CPU‑GPU 간 데이터 전송 지연을 근본적으로 없애기 위해 세 가지 GPU‑네이티브 컴파일 접근법(전통적 병렬 컴파일, 신경망 기반 컴파일, 하이브리드)을 이론적으로 정립하고, 각각의 지연·에너지 한계와 2‑100배 수준의 속도 향상을 정량화한다. 또한 확률적 검증 프레임워크를 도입해 컴파일 정확도와 탐색 병렬성을 트레이드오프하는 방법을 제시한다.

상세 분석

이 논문은 현재 대형 언어 모델이 생성한 코드를 CPU에서 컴파일·실행하고 결과를 다시 GPU로 되돌리는 구조가 전체 코드 반복 주기의 90 % 이상을 차지한다는 실증적 관찰에서 출발한다. 저자는 이 병목을 해소하기 위해 “GPU‑네이티브 컴파일”이라는 개념을 도입하고, 세 가지 구현 경로를 체계적으로 분석한다. 첫 번째인 전통적 GPU 컴파일은 기존 컴파일러 파이프라인(lexing, parsing, type‑checking, IR generation, 최적화, codegen)을 각각 GPU 커널로 변환한다. 여기서 핵심은 파싱 단계에서 병렬 LR 파싱 혹은 제한된 재귀 깊이의 재귀 하강 파싱을 적용해 O(n log n) 복잡도를 유지하면서도 수천 개 프로그램을 동시에 처리하도록 설계한다는 점이다. 이 접근법은 정확도와 디버깅 가능성을 그대로 보존하지만, 프로그램 내부의 불규칙 메모리 접근으로 인한 GPU 활용률 저하와 작은 k에 대한 한계가 존재한다. 두 번째인 신경망 기반 컴파일은 Transformer 기반 시퀀스‑투‑시퀀스 모델을 이용해 소스 코드를 직접 바이트코드로 변환한다. 모델은 대규모 코드‑바이트코드 쌍으로 사전 학습된 뒤, 실행 결과를 보상으로 하는 강화학습 단계에서 정확도와 실행 시간에 대한 보상을 추가한다. 핵심 기여는 “확률적 검증” 프레임워크로, p_correct를 추정하고 k개의 샘플을 병렬 실행해 99 % 성공 확률을 달성하기 위한 샘플 수를 수식으로 제시한다. 이론적으로는 k = 1000 정도면 복잡한 코드에서도 충분히 높은 성공률을 보장한다. 그러나 모델이 학습되지 않은 언어 특성이나 드문 패턴에 대해서는 정확도 보장이 없으며, 메모리 사용량이 수 GB에 달한다는 실용적 제약이 있다. 세 번째인 하이브리드 접근법은 복잡도 스코어링을 통해 간단한 프로그램은 신경망 경로로, 복잡한 프로그램은 전통적 GPU 컴파일 경로로 라우팅한다. 이를 통해 평균 지연을 6 ms 수준으로 낮추고, 5‑20배의 속도 향상을 기대한다. 하지만 두 파이프라인을 동시에 유지·관리해야 하는 시스템 복잡도와 라우팅 오버헤드(1‑10 ms)가 추가된다. 논문은 또한 에너지 모델링을 통해 GPU‑네이티브 방식이 PCIe 전송 에너지(≈25 mJ)와 CPU 컴파일 에너지(≈15 J)를 크게 절감함을 입증한다. 마지막으로 아날로그·뉴로모픽 기반 물리적 컴파일 가능성을 제시하며, 장기적인 연구 로드맵을 제시한다. 전체적으로 이 논문은 GPU‑내부에서 컴파일·실행·검증까지 일원화함으로써 AI 코드 생성 파이프라인의 병목을 근본적으로 해소하고, 다양한 실용 시나리오에 맞는 트레이드오프를 정량적으로 제공한다.