스파크클 이기종 클러스터를 위한 통합 가속기 프로그래밍 프레임워크

초록

SparkCL은 Java와 OpenCL을 기반으로 Apache Spark에 가속기(FPGA, GPU, APU, DSP 등)를 손쉽게 연동할 수 있게 해 주는 오픈소스 프레임워크이다. 기존 Spark 변환·액션에 새로운 커널 타입을 추가하고, Aparapi 기반의 Java‑OpenCL 레이어를 도입해 동일한 코드베이스로 다양한 OpenCL 지원 디바이스에 작업을 오프로드한다. 이를 통해 이기종 클러스터 환경에서도 개발자는 하드웨어 상세 구현을 신경 쓰지 않고 고수준 Spark API만으로 가속을 활용할 수 있다.

상세 요약

SparkCL은 세 가지 핵심 구성 요소로 설계되었다. 첫 번째는 Java‑OpenCL 인터페이스 레이어로, 기존 Aparapi 프로젝트를 확장해 Java 메서드를 OpenCL 커널로 자동 변환한다. 이 레이어는 런타임 시 디바이스 탐색·선택, 메모리 버퍼 관리, 커널 컴파일 및 실행 흐름을 캡슐화한다. 특히, OpenCL 플랫폼·디바이스 프로파일링 정보를 Spark 드라이버에 전달함으로써 클러스터 매니저가 작업 스케줄링 시 가속기 가용성을 고려할 수 있게 한다.

두 번째는 Spark 프로그래밍 레이어이다. 여기서는 기존 RDD·DataFrame 연산에 ‘oclMap’, ‘oclReduce’, ‘oclFlatMap’ 등 새로운 변환 함수를 정의한다. 이러한 함수는 사용자가 순수 Java 람다식으로 로직을 기술하면, 내부적으로 Aparapi가 이를 OpenCL 커널로 변환하고, 각 파티션에 할당된 가속기로 실행한다. 기존 Spark의 lazy evaluation 모델을 그대로 유지하면서도, 커널 실행 결과를 자동으로 Java 객체로 역직렬화해 다음 연산에 투입한다.

세 번째는 클러스터 통합 메커니즘이다. SparkCL은 Spark의 플러그인 구조를 이용해 ‘SparkCLContext’와 ‘SparkCLScheduler’를 제공한다. Scheduler는 작업 제출 시 각 파티션에 할당된 가속기 종류와 부하를 평가해 CPU와 가속기 간에 작업을 동적으로 분배한다. 또한, 가속기 실패 시 자동으로 CPU fallback를 수행해 견고성을 확보한다.

성능 평가에서는 동일한 벤치마크(행렬 곱, FFT, 머신러닝 전처리)를 CPU 전용 Spark와 비교했을 때, GPU와 FPGA 노드에서 평균 4배~12배의 속도 향상을 기록했다. 특히, 데이터 전송 오버헤드를 최소화하기 위해 파이프라인 방식의 버퍼 재사용과 비동기 커널 실행을 적용했으며, 이는 대규모 데이터셋에서도 스케일 아웃 효과를 유지하게 한다.

하지만 몇 가지 제한점도 존재한다. OpenCL 지원 디바이스에만 적용 가능하므로, 최신 CUDA‑only GPU나 비표준 FPGA 툴체인에는 별도 어댑터가 필요하다. 또한, Java → OpenCL 자동 변환 과정에서 복잡한 제어 흐름(재귀, 동적 메모리 할당 등)은 지원되지 않아, 사용자는 알고리즘을 ‘데이터 병렬’ 형태로 재구성해야 한다. 마지막으로, 현재는 RDD 기반 API에 초점을 맞추고 있어 Structured Streaming이나 MLlib와 같은 고수준 라이브러리와의 완전한 호환성은 향후 작업으로 남아 있다.

전반적으로 SparkCL은 이기종 가속기를 Spark 에코시스템에 자연스럽게 녹여내는 중요한 시도이며, 향후 OpenCL 표준 확장 및 Spark 내부 API와의 깊은 통합을 통해 더 넓은 적용 범위와 성능 최적화를 기대할 수 있다.