Analytical study of the 'master-worker' framework scalability on multiprocessors with distributed memory

📝 Abstract

The paper is devoted to an analytical study of the “master-worker” framework scalability on multiprocessors with distributed memory. A new model of parallel computations called BSF is proposed. The BSF model is based on BSP and SPMD models. The scope of BSF model is the compute-intensive applications. The architecture of BSF-computer is defined. The structure of BSF-program is described. The Using this metric, the upper scalability bounds of BSF programs on distributed memory multiprocessors are evaluated. The formulas for estimating the parallel efficiency of BSF programs also proposed.

💡 Analysis

The paper is devoted to an analytical study of the “master-worker” framework scalability on multiprocessors with distributed memory. A new model of parallel computations called BSF is proposed. The BSF model is based on BSP and SPMD models. The scope of BSF model is the compute-intensive applications. The architecture of BSF-computer is defined. The structure of BSF-program is described. The Using this metric, the upper scalability bounds of BSF programs on distributed memory multiprocessors are evaluated. The formulas for estimating the parallel efficiency of BSF programs also proposed.

📄 Content

Аналитическое исследование масштабируемости фреймворка «мастер-рабочие» применительно к многопроцессорным
системам с распределенной памятью* Л.Б. Соколинский Южно-Уральский государственный университет Работа посвящена аналитическому исследованию масштабируемости фреймворка ор- ганизации параллельных вычислений по схеме «мастер-рабочие» применительно к многопроцессорным системам с распределенной памятью. В статье строится новая мо- дель параллельных вычислений BSF, основанная на моделях BSP, и SPMD. Модель BSF ориентирована на вычислительные задачи с высокой временной сложностью. Определяется архитектура BSF-компьютера и описывается структура BSF-программы. Описывается формальная стоимостная метрика, с помощью которой получаются верх- ние оценки масштабируемости параллельных программ, основанных на модели BSF, применительно к вычислительным системам с распределенной памятью. Также выво- дятся формулы для оценки эффективности распараллеливания BSF-программ. Ключевые слова: параллельное программирование, фреймворк «мастер-рабочие», мо- дель BSF, временная сложность, масштабируемость, многопроцессорные системы с распределенной памятью.

1. Введение Суперкомпьютер TaihuLight с массово-параллельной архитектурой, занимающий первое ме- сто в списке TOP-500 [1] самых мощных суперкомпьютеров мира (ноябрь 2016), имеет 40 960 процессорных узлов, каждый из которых включает в себя 260 процессорных ядер. Общая опера- тивная память системы составляет 1.3 Петабайт, пиковая производительность превышает 120 пе- тафлопс. Анализ динамики роста производительности суперкомпьютеров (см. рис. 1) показы- вает, что через 8-9 лет самый мощный суперкомпьютер становится рядовой системой, и что через 5-6 лет мы можем ожидать появление суперкомпьютера с экзафлопным уровнем производитель- ности. Появление столь мощных многопроцессорных вычислительных систем выдвигает на пер- вый план вопросы, связанные с разработкой фреймворков (шаблонов), позволяющих создавать высокомасштабируемые параллельные программы, ориентированные на системы с распределен- ной памятью. При этом особенно важной является проблема разработки моделей параллельных вычислений, позволяющих на ранней стадии проектирования программы оценить ее масштаби- руемость. В данной работе предлагается новая модель параллельных вычислений BSF (Bulk Synchro- nous Farm) – блочно-синхронная ферма, основанная на моделях «мастер-рабочие», BSP, и SPMD. Модель BSF ориентирована на вычислительные системы с массовым параллелизмом на распре- деленной памяти, включающие в себя сотни тысяч процессорных узлов, и имеющие экзафлоп- ный уровень производительности. Модель BSF включает в себя каркас (skeleton) для разработки параллельных программ и стоимостную метрику для оценки масштабируемости приложения. Статья имеет следующую структуру. В разделе 2 дается краткий обзор концептуальных мо- делей параллельных вычислений, лежащих в основе новой модели BSF. В разделе 3 приводятся общие требования к модели вычислений. Раздел 4 посвящен описанию модели BSF. В разделе 5 строится стоимостная метрика, и даются аналитические оценки масштабируемости BSF-приложений, а также исследуется вопрос эффективности распараллеливания BSF-программ. В разделе 6 суммируются полученные результаты и намечаются направления дальнейших иссле- дований.

• Исследование выполнено при финансовой поддержке РФФИ в рамках научного проекта № 17-07-00352 а, Правительства РФ в соответствии с Постановлением №211 от 16.03.2013 г. (соглаше- ние № 02.A03.21.0011) и Министерства образования и науки РФ (государственное задание 1.9624.2017/7.8).

Рис. 1. Динамика роста производительности суперкомпьютеров в TOP500. 2. Модели параллельных вычислений Одним из популярных фреймворков, используемых в параллельном и распределенном про- граммировании, является парадигма «мастер-рабочие» [2–4]. В соответствии с этой парадигмой процессорные узлы вычислительной системы делятся на два множества: узлы-мастера и узлы- рабочие. Задача, решаемая на многопроцессорной системе, разбивается на независимые подза- дачи. Каждая подзадача, в свою очередь, разбивается на три последовательные стадии: стадия предобработки, стадия вычислений и стадия постобработки. Стадии предобработки и постобра- ботки выполняются узлами-мастерами, стадии вычислений выполняются узлами-рабочими. В каждый момент времени любой процессорный узел может выполнять только одну стадию. Предполагается, что количество подзадач совпадает с количеством узлов-рабочих и превышает
количество узлов-мастеров. Решение задачи происходит следующим образом. Очередная подза- дача назначается некоторому узлу-мастеру, который выполняет стадию предобработки. После этого он посылает задание (передает данные) узлу-рабочему, который должен выполнить стадию вычислений указанной подзадачи. После того, как узел-рабочий завершил требуемые вычисле- ния, он посылает отчет (передает данные) тому узлу-мастеру, от которого получил

This content is AI-processed based on ArXiv data.