Molly LLVM 기반 분산 메모리 병렬화

초록

Molly는 LLVM 툴체인에 추가된 패스로, 정적 루프 제어 흐름을 폴리hedral 모델로 표현하여 데이터와 연산을 자동으로 분산하고, MPI 비동기 통신 코드를 생성한다. 현재는 완전 구현되지 않았으며, Conway’s Game of Life 예제로 기능을 시연한다.

상세 분석

본 논문은 기존 고성능 컴퓨팅 환경에서 분산 메모리 프로그래밍이 여전히 수작업에 의존한다는 문제점을 지적하고, 이를 완화하기 위한 컴파일러 기반 접근법을 제시한다. 핵심 아이디어는 프로그램의 정적 루프 구조를 폴리hedral 모델, 즉 정수점 집합으로 변환하고, 이 집합 위에서 데이터 배치와 연산 스케줄을 재배치하는 것이다. LLVM의 Polly 패스를 활용해 SCoP(Static Control Part)를 검출하고, Molly라는 새로운 모듈이 이 SCoP에 삽입되어 배열의 분산 배치를 메타데이터 형태로 전달한다.

Molly는 사용자 정의 헤더(molly.h)를 통해 molly::array 타입을 제공하고, 이 타입에 대한 인덱스 연산을 LLVM intrinsic llvm.molly.ptr 로 변환한다. 이 intrinsic은 원격 메모리 접근을 의미하지만, 실제 포인터 연산은 제한되고 로드·스토어만 허용된다. Molly 패스는 전체 모듈 수준에서 모든 molly::array 객체와 그 사용 위치를 파악한 뒤, 블록 분산(block‑cyclic) 전략을 적용해 각 배열 원소의 “홈 노드”를 결정한다.

데이터 흐름 분석은 ISL( Integer Set Library) 를 이용해 읽기‑후‑쓰기(read‑after‑write) 의존성을 추출한다. 의존성 그래프를 기반으로 각 스테이트먼트의 실행 노드를 결정하는데, 기본 정책은 생산자와 소비자를 같은 노드에 배치하는 것이다. 프로로그와 에필로그라는 가상 스테이트먼트를 삽입해 SCoP 진입 전후에 필요한 데이터 이동을 명시적으로 모델링한다.

통신 코드 생성 단계에서는 의존성에 따라 원격 데이터 전송이 필요할 경우 데이터를 청크 단위로 묶어 MPI 비동기 Isend/Irecv 를 삽입한다. 청크는 동일한 목적지 버퍼에 모을 수 있는 원소들의 집합으로 정의되며, 직접 또는 간접 의존성이 존재하는 경우는 같은 청크에 포함되지 않는다. 이렇게 함으로써 전송 횟수를 최소화하고, 네트워크 대역폭 활용을 최적화한다.

구현상의 제한점으로는 현재 블록‑사이클릭 분산만 지원하고, 배열 크기와 클러스터 토폴로지를 컴파일 타임에 고정해야 한다는 점이 있다. 또한 포인터 교환과 같은 동적 메모리 패턴은 SCoP로 인식되지 않아 처리되지 않는다. 향후 연구에서는 파라미터화된 SCoP와 런타임 클러스터 정보 반영을 통해 보다 일반적인 데이터 분산을 목표로 한다.

실험은 IBM Blue Gene/Q 대신 2D 격자 기반 Conway’s Game of Life를 사용해 Molly가 자동으로 MPI 코드를 생성하고, 기존 순차 구현 대비 확장성을 확인한다. 성능 평가는 아직 초기 단계이지만, 코드 변환 과정과 통신 삽입 메커니즘이 정상적으로 동작함을 보여준다.

전반적으로 Molly는 폴리hedral 최적화와 MPI 통신 자동화를 결합한 첫 번째 시도 중 하나이며, 고성능 과학 응용 프로그램에서 수작업 분산 코딩을 크게 감소시킬 잠재력을 가진다.