GPU 프로그램 레이아웃 자동 합성 프레임워크 Hexcute

초록

Hexcute는 텐서 레이아웃을 함수형 제약 문제로 모델링하고, 타입 추론 기반 알고리즘으로 자동 합성한다. 이를 통해 저수준 프레임워크(CUTLASS 등)의 세밀한 제어와 고수준 언어(Triton)의 편리함을 결합해, GEMM·Attention·MoE 등 다양한 연산에서 라이브러리 수준 성능을 유지하면서 코드량을 크게 줄인다.

상세 분석

Hexcute는 GPU 커널을 타일 수준 프로그래밍 모델에 기반한다. 텐서 레이아웃을 “shape:stride” 형태의 함수로 표현하고, 이를 텐서 타입에 내재시켜 레이아웃 제약을 타입 시스템에 포함시킨다. 레이아웃 합성 문제는 “레이아웃 함수 = 함수 합성(monad) 형태”라는 수학적 구조를 이용해 제약 프로그래밍으로 변환한다. 핵심 알고리즘은 기존 타입 추론 기법