GPT5 강화 학습으로 트리톤 GPU 커널 자동 생성

초록

본 논문은 대규모 언어 모델 GPT‑5를 강화 학습(RL) 기반으로 미세 조정하여 Triton GPU 커널을 자동 생성하는 방법을 제시한다. 데이터 부족과 컴파일러 편향으로 한계가 있던 기존 감독 학습(SFT) 접근을 넘어, 실행 기반 보상 설계와 Makora 평가 인프라를 활용해 단일 시도(single‑attempt)에서 커널 정확도를 43.7%→77.0%로, TorchInductor 대비 우수 비율을 14.8%→21.8%로 향상시켰다. 전체 코딩 에이전트에 통합했을 때는 97.4% 문제 해결률과 2.12× 기하 평균 속도 향상을 달성했다.

상세 분석

이 연구는 GPU 커널 생성이라는 고도로 전문화된 영역에서 대규모 언어 모델의 잠재력을 끌어내기 위해 두 가지 핵심 문제를 해결한다. 첫째, 고품질 라벨이 달린 데이터가 극히 제한된 상황에서 감독 학습이 실효성을 잃는 이유를 체계적으로 분석한다. 공개 데이터셋인 KernelBook은 1만 8000여 개에 불과하고, 대부분이 교육용 혹은 비최적화 코드이며, 컴파일러가 자동 생성한 합성 데이터는 성능 상한선과 코드 보일러플레이트, 내부 라이브러리 의존성 등으로 인해 모델이 새로운 최적화를 탐색하지 못하게 만든다. 둘째, 이러한 데이터 제약을 극복하기 위해 강화 학습, 특히 검증 가능한 보상(RL‑VR) 프레임워크를 도입한다. 보상 함수는 (1) 컴파일 성공 여부, (2) 기능적 정합성, (3) 기준 구현 대비 속도 향상을 로그식으로 결합해 0~1 사이의 연속값을 산출한다. 시프트 파라미터 δ=1.8을 통해 단순히 올바른 커널보다 실제 성능 개선을 요구하도록 설계했으며, 이는 모델이 “정답만” 생성하는 것이 아니라 최적화 탐색을 지속하도록 유도한다.

Makora 환경은 다중 단계 인터랙션을 지원한다. 모델은 프롬프트 → 코드 생성 → 컴파일러 검증 → 벤치마크 실행 → 보상 피드백의 순환을 수행하며, 캐싱·정규화·분산 실행을 통해 수천 개의 커널을 H100 GPU 클러스터에서 효율적으로 평가한다. 또한 정적 도달 가능성 분석과 LLM 기반 해킹 탐지기를 삽입해 보상 해킹을 사전에 차단한다.

실험 결과는 두 가지 관점에서 의미가 크다. 단일 시도에서 기능적 정확도가 33.3 %p 상승하고, TorchInductor 대비 우수 비율이 7 %p 증가했으며, 확장된 KernelBench 전체에서는 97.4 %의 문제를 해결하고 72.9 %에서 기존 컴파일러를 능가했다. 기하 평균 속도 향상 2.12×는 단순히 “동작한다” 수준을 넘어 실제 프로덕션 수준의 성능 이득을 입증한다. 또한 작은 모델(Qwen‑4B~32B)에서는 보상 값이 급격히 포화되는 반면, GPT‑5와 같은 강력한 사전 학습 기반이 없으면 RL 신호가 거의 제공되지 않아 학습이 정체되는 현상을 확인했다.

이 논문은 (1) 데이터 스케일에 의존하지 않는 RL 기반 미세 조정 방법론, (2) 검증 가능한 보상 설계와 해킹 방지 메커니즘, (3) 대규모 GPU 클러스터를 활용한 효율적 평가 파이프라인이라는 세 축을 제시함으로써, 향후 다른 하드웨어‑특화 코드 생성 분야에도 적용 가능한 청사진을 제공한다.