가속기용 모듈형 프로그램 분석 프레임워크 PASTA

본 논문은 현대 컴퓨팅 시스템에서 GPU·TPU 등 가속기의 복잡성이 급증함에 따라, 기존 벤더 제공 프로파일링 도구가 갖는 유연성·확장성 부족과 높은 실행 오버헤드 문제를 해결하고자 ‘PASTA(Program AnalysiS Tool Framework for Accelerators)’라는 새로운 프레임워크를 제안한다. PASTA는 크게 세 가지 모듈로 구성된다. 첫 번째는 **Event Handler**로, NVIDIA CUDA, AMD ROCm, 그리고 PyTorch·TensorFlow와 같은 딥러닝 프레임워크의 콜백을 추상화해 통일된 이벤트 인터페이스를 제공한다. 이 모듈은 ‘Coarse‑grained’(커널 런치, 메모리 복사, 동기화)와 ‘Fine‑grained’(스레드 블록 진입·종료, 메모리 접근, 장치 함수 호출) 이벤트를 모두 캡처하며, 딥러닝 프레임워크 수준의 연산자 시작·종료, 텐서 할당·해제 등 고수준 이벤트도 동시에 수집한다. 이벤트 종류는 표 Ⅱ에 정리돼 있으며, 새로운 가속기나 프레임워크가 추가될 경우 핸들러에 해당 콜백만 구현하면 된다. 두 번째는 **Event Processor**이다. 기존 도구는 트레이스 데이터를 CPU로 전송한 뒤 분석하는 방식으로, 트레이스 버퍼가 가득 차면 GPU가 대기하는 ‘stall‑and‑fetch’ 현상이 발생한다. PASTA는 GPU 내부에 분석 전용 헬퍼 함수를 배치해, 수집된 이벤트를 GPU 스레드(워프) 단위로 병렬 처리한다. 이를 통해 데이터 전송 비용을 최소화하고, 실시간으로 메타데이터 정규화·전처리(예: 커널 그리드 정보 추출, 메모리 복사 방향 파싱)를 수행한다. 논문에서는 이 모델이 기존 CPU‑중심 분석 도구 대비 최대 1.3 × 10⁴ 배 빠른 처리 속도를 보였으며, 오버헤드가 0.5 % 이하로 낮아 실제 어플리케이션 실행에 거의 영향을 주지 않는다고 보고한다. 세 번째는 **Tool Collection** 모듈이다. 사용자는 제공된 템플릿을 상속하거나 새로운 툴을 구현해, 이벤트 프로세서가 제공하는 정형화된 데이터 스트림을 입력으로 받아 자신만의 분석 로직을 구현한다. 저자는 이를 활용해 두 가지 사례 연구를 수행했다. 첫 번째는 **딥러닝 워크로드 특성화 툴**로, 레이어별 커널 실행 시간, 메모리 재사용 거리, 텐서 생명 주기 등을 자동으로 추출해 모델별 병목을 시각화한다. 두 번째는 **UVM(통합 가상 메모리) 최적화 툴**로, UVM 페이지 프리페치 효율을 측정하고, 비효율적인 페이지 전송을 최소화하는 전략을 제시한다. 두 툴 모두 기존 Nsight Systems·ROC Profiler 대비 10배 이상 빠른 실행 시간과 5배 이상 낮은 메모리 오버헤드를 기록했다. 평가 실험은 NVIDIA A100·RTX 3090, AMD MI100·MI250 등 주요 GPU와 PyTorch·TensorFlow 기반 CNN, Transformer, LLM 워크로드를 대상으로 진행되었다. 단일 GPU 환경에서는 평균 0.8 %의 실행 오버헤드, 멀티‑GPU 환경에서는 1.2 % 이하의 오버헤드를 유지하면서도, 전체 트레이스 수집·분석 시간을 기존 도구 대비 2~3 배에서 최대 1.3 × 10⁴ 배까지 단축했다. 또한, PASTA는 바이너리 레벨에서 동작하므로, CUDNN·CUBLAS와 같은 폐쇄형 라이브러리도 분석 가능하다는 장점을 갖는다. 논문은 PASTA의 주요 기여를 네 가지로 정리한다. (1) **모듈성·확장성**: 이벤트 핸들러·프로세서·툴 컬렉션이 독립적으로 교체·업그레이드 가능, (2) **벤더 독립성**: NVIDIA·AMD GPU를 동일 인터페이스로 지원, (3) **딥러닝 프레임워크 통합**: 고수준 연산자·텐서 이벤트를 직접 캡처, (4) **저오버헤드 GPU‑가속 분석**: 트레이스 수집·분석을 GPU 내부에서 병렬 처리. 마지막으로, PASTA는 MIT 라이선스로 오픈소스화되어 GitHub에 공개됐으며, 상세 사용자·개발자 가이드를 제공한다. 하지만 논문에는 몇 가지 한계점도 존재한다. 평가가 주로 딥러닝 워크로드에 국한돼 있어, HPC·데이터베이스·그래픽스 등 비‑DL 분야에서의 적용 가능성은 아직 검증되지 않았다. 또한, GPU 내부에서 분석을 수행함에 따라 트레이스 버퍼와 분석용 메모리 사용량이 증가할 수 있는데, 대규모 멀티‑GPU 클러스터에서 메모리 압박이 어떻게 관리되는지는 상세히 다루지 않았다. 현재는 NVIDIA·AMD GPU만 지원하므로, FPGA·ASIC·TPU와 같은 비‑GPU 가속기에 대한 확장 로드맵이 불명확하다. 마지막으로, 사용자 정의 이벤트를 삽입하기 위해 소스 코드에 ‘PASTA 어노테이션’을 추가해야 하는데, 이는 완전한 바이너리‑레벨 분석을 원하는 상황에서는 제한이 될 수 있다. 종합하면, PASTA는 가속기 기반 시스템에서 프로그램 분석의 생산성·효율성을 크게 향상시킬 수 있는 실용적인 프레임워크이며, 향후 다양한 가속기와 워크로드를 포괄하도록 확장된다면 시스템 최적화 파이프라인의 핵심 인프라로 자리매김할 잠재력이 크다.