마스터 워커 프레임워크의 분산 메모리 다중프로세서 확장성 분석

초록

본 논문은 마스터‑워커 형태의 병렬 프로그램을 대상으로, BSP와 SPMD 모델을 결합한 새로운 BSF( Bulk Synchronous Farm ) 모델을 제안한다. BSF 모델의 구조와 구현 방식을 정의하고, 분산 메모리 다중프로세서 시스템에서의 확장성을 정량적으로 분석한다. 상한 확장성 한계와 병렬 효율을 예측하는 수식들을 도출함으로써, 계산 집약적 애플리케이션에 대한 설계 지침을 제공한다.

상세 분석

BSF 모델은 기존 BSP( Bulk Synchronous Parallel ) 모델의 단계적 동기화 메커니즘을 유지하면서, SPMD( Single Program Multiple Data) 방식의 프로그램 흐름을 통합한다는 점에서 독창적이다. 마스터 프로세스는 전체 작업을 워커 프로세스들에게 동적으로 할당하고, 각 워커는 독립적인 연산을 수행한 뒤 결과를 마스터에게 반환한다. 이때 통신 비용은 두 가지로 구분된다. 첫 번째는 마스터가 워커에게 작업을 분배할 때 발생하는 일대다 전송 비용이며, 두 번째는 워커가 결과를 집계하기 위해 마스터에게 보내는 일대일 전송 비용이다. 논문은 이러한 비용을 각각 (t_{dist})와 (t_{coll}) 로 모델링하고, 전체 실행 시간을 (T_p = T_{comp}/p + t_{dist} + t_{coll}) 형태로 표현한다. 여기서 (T_{comp})는 순수 계산 시간, (p)는 워커 수이다.

확장성 분석에서는 Amdahl’s Law와 유사하게, 워커 수가 증가함에 따라 통신 오버헤드가 지배적으로 작용하는 임계점 (p_{max}) 를 도출한다. 구체적으로 (p_{max} = \sqrt{T_{comp}/(t_{dist}+t_{coll})}) 라는 식을 제시함으로써, 계산량 대비 통신량이 큰 애플리케이션에서는 워커 수를 무조건 늘려도 효율이 급격히 감소한다는 사실을 강조한다. 또한, 병렬 효율 (E = \frac{T_1}{p T_p}) 를 근사적으로 (E \approx \frac{1}{1 + p(t_{dist}+t_{coll})/T_{comp}}) 로 표현하여, 효율을 유지하기 위한 설계 가이드라인을 제공한다.

BSF 모델의 장점은 구현이 비교적 단순하다는 점이다. 마스터와 워커 간의 통신 프로토콜이 고정되어 있어, 프로그래머는 순수 계산 로직에만 집중하면 된다. 또한, 모델이 가정하는 동기화 단계는 기존 BSP 기반 런타임 시스템과 호환 가능하므로, 기존 코드베이스를 재사용하거나 단계별 마이그레이션이 용이하다. 그러나 모델이 전제하는 “계산 집약적” 특성 때문에, I/O‑bound 혹은 메모리 접근 패턴이 복잡한 워크로드에는 적용이 제한적일 수 있다.

실험적 검증 부분에서는 표준 행렬 곱셈, FFT, 그리고 Monte‑Carlo 시뮬레이션을 대상으로 시뮬레이션 및 실제 클러스터 테스트를 수행하였다. 결과는 제시된 이론적 상한과 높은 일치도를 보였으며, 특히 행렬 곱셈과 같이 계산 비율이 높은 경우에는 워커 수를 64까지 늘려도 80 % 이상의 효율을 유지했다. 반면, Monte‑Carlo 시뮬레이션처럼 각 워커가 빈번히 작은 결과를 반환하는 경우에는 16 워커를 초과하면서 효율이 급격히 떨어졌다.

결론적으로, BSF 모델은 마스터‑워커 구조를 수학적으로 정형화함으로써, 설계 단계에서 예상 가능한 확장성 한계를 미리 파악할 수 있게 해준다. 이는 대규모 분산 메모리 시스템에서 자원을 효율적으로 배분하고, 비용 대비 성능을 최적화하려는 연구자와 엔지니어에게 실용적인 도구가 될 것이다.