Файл: Состав и свойства вычислительных систем. Информационное и математическое обеспечение вычислительных систем (Сложные вычислительные системы).pdf

Ранее было описано, что структура ВС представляет собой граф G. Структурные задержки в случае передачи информации между машинами ВС определяются расстоянием (теория графов) между вершинами структуры, сопоставленными взаимодействующим машинам [1,11,12]. Для оценки структурных задержек в ВС используют диаметр d и средний диаметр структуры d. Диаметр — это максимальное расстояние, которое определено на множестве кратчайших путей между парами вершин структуры ВС:

d = max{dij},

средний диаметр определяется

d = (N — 1)^-1'Zf₌₁ln_l,

где dij - расстояние или минимальное число ребер, которые образуют путь из вершины i в вершину j; i,j £ {0,1,..., N — 1}; т - число вершин, которые находятся на расстоянии l от любой выделенной вершины графа G.

Для оценки структурной коммутируемости ВС, используется векторфункция

K(G,s,s,) = {K_h(G_>s_>s,)}_> h£ {1,2,., [N/2]},

в которой координата K_h(G, s, s^,) - вероятность реализации, в которой заданы структура G и коэффициенты готовности s, s^, ЭМ, а также линии связи h.

Структурная живучесть ВС оценивается вектор-функцией:

L(G,s,s,) = {L_r(G,s,s,)}, r£E? {2,3,...,N},

Здесь - вероятность существования подсистемы ранга r (подмножество из r работоспособных ЭМ, связность которых устанавливается через работоспособные линии связи) при заданных соответственно структуре G и коэффициентах готовности s, s^, ЭМ, линии связи.

Введённые показатели позволяют произвести анализ структурных возможностей ВС с достаточной полнотой.

Однородные структуры удовлетворяют требованиям, которые перечислены выше [1, 11, 12, 13, 14]. Подобные структуры являются перспективными для формирования масштабируемых и большемасштабных вычислительных систем.

В компьютерной индустрии распространение получили «мерные структуры вычислительных систем, которые называют циркулянтные ВС (Circulant Srnctures). Впервые они были определены и исследованы в Отделе вычислительных систем Института математики СО АН СССР в начале 1970-х годов и назывались ^-графами [1, 11, 12]. По определению Л_и-граф, или циркулянтная структура, есть граф G вида: [N; ш₁, ш₂,..., ы_п], в котором:

• N - число вершин или порядо графа;
• вершины, которые помечены целыми числами i по модулю N, из этого следует i £ {0,1,..., N — 1};
• вершина i соединена ребром с вершинами i ± w₁,i ± ш₂,...,1 ± <v_n(mod N);
• {ш₁,ш₂,.,ш_п} - множество целых чисел, которые называются образующими
• « - размерность графа;
• 2« - степень вершины в графе.

В качестве примера представим Л-граф (рисунок 2) или двумерный циркулянт.

Рисунок 2 - D-граф

Графы Gвида {N; 1, ш₂,..., ы_п}, т.е. Л_и-графы или циркулянты с единичной образующей (Loop Networks - петлевые структуры) усиленно изучаются в настоящее время. Циркулянтные структуры {N; 1, ы₂} широко внедрены в практику вычислительных систем.

Целые числа i£ {0,1, ...,N — 1}, отмечающие вершины Диграфа, называют адресами. Адресация вершин в таких структурах называется диофантовой. B циркулянтных структурах при полном переносе какой-либо подструктуры будут сохранены все ее свойства и адресация вершин. Из этого следует, что при диофантовой адресации ЭМ вычислительной системы можно осуществить виртуальную адресацию вершин-машин простыми средствами реконфигурации и есть возможность:

1. создавать отказоустойчивые параллельные программы, которые не ориентированы на физические номера машин;
2. реализовывать мультипрограммные режимы обработки информации;
3. исключать отказавшие вершины-машины из подсистем и обеспечить живучесть ВС.

В качестве структур вычислительных систем, которые допускают масштабирование без коренной перекоммутации уже существующих межмашинных связей, используются Л, v, gj-графы. В такие графы вкладываются Л_и-графы, а Л, v, gj-граф - это неориентированный однородный граф с числом и степенми вершин N и v, а также значением обхвата g.

В Л(N, v, g) - графах каждая вершина при v > 3 вмещает в не менее v кратчайших простых циклов длиной g (длина кратчайшего цикл в графе называется обхватом). При v = 2 Л(N, v, gj-граф выступает простым циклом с N вершинами.

ГЛАВА 2. ОТДЕЛЬНЫЕ ВИДЫ ВЫЧИСЛИТЕЛЬНЫХ СИСТЕМ

2.1. Кластерные вычислительные системы

Кластерные вычислительные системы являются разновидностью мультипроцессорных систем, описание которых вытекает из слова кластер (Cluster группа). Они получили широкое распространение уже в 90-x годах ХХ в.

Кластер - группа взаимно соединенных вычислительных систем (узлов), которые работают совместно и составляют единый вычислительный ресурс, при этом создавая иллюзию наличия единственной вычислительной машины. Для связи узлов применяется одна из стандартных сетевых технологий (Fast/Gigabit Ethernet, Myrinet) на базе шинной архитектуры или коммутатора. Примеры кластерных вычислительных систем: NT-кластер в NCSA, Beowulf-кластеры.

Термин «вычислительный кластер» был впервые введен DEC (Digital Equipment Corporation). По определению DEC, кластер это группа компьютеров, которые связаны между собой и функционируют как единое средство обработки информации. Для создания кластерных ВС используются и MISD-, и SIMD-, и MIMD-архитектуры, различные функциональные структуры и конструктивные решения.

B общей трактовке кластерная ВС является композиция множества вычислителей, сетей связи между ними и программного обеспечения, предназначенных для параллельной обработки информации. При создании кластерной вычислительной системы могут быть применены стандартные промышленные компоненты и специально созданные средства. Однако в кластерных ВС преобладают массовые аппаратурно-программные средства. Это является принципом конструирования кластерных ВС, обеспечивающим их высокую технико-экономическую эффективность.

В создании вычислительных систем одно из самых современных направлений это кластеризация.

Две основные задачи кластера были: достичь большой вычислительной мощности и обеспечить повышенную надежность ВС.

Архитектура кластерных систем очень похожа на архитектуру МРР- систем. Система с массовой параллельной обработкой (МРР, Massively Parallel Processing) - система, состоящая из однородных вычислительных узлов, которые обладают всеми средствами для независимого функционирования. В MPP- архитектуре выполнена модель распределенной памяти.

Системы с массовой параллельной обработкой появились - из-за необходимости осуществления вычислительных систем с гигантской производительностью и стремления раздвинуть границы производства ВС в большом диапазоне производительности, а также стоимости. В МРР-системы количество вычислительных узлов может варьироваться в широких пределах, всегда есть возможность подобрать конфигурацию с заранее заданными финансовыми вложениями и вычислительной мощностью. МРР-система состоит из множества однородных вычислительных узлов, число которых исчисляется тысячами. Один узел включает в себя полный комплекс устройств, необходимых для самостоятельного функционирования (процессор, память, подсистему ввода/вывода, коммуникационное оборудование), то есть, является полноценной вычислительной машиной. Узлы соединены коммуникационной сетью с малыми задержками и высокой пропускной способностью.

Процесс работы узлов кластерных вычислительных систем координирует главная управляющая вычислительная машина (хост-компьютер). Ей может служить отдельная ВМ или один из узлов системы.

В случае, когда система содержит выделенный хост-компьютер, то имеющаяся операционная система (ОС) функционирует только на нем, а на узлы устанавливается урезанный вариант, который поддерживает лишь функции ядра ОС. Если отсутствует главная ВМ, то полноценная ОС устанавливается на каждый узел МРР-системы. Таким образом, каждый узел работает под управлением собственной операционной системы.

Похожий принцип распределенной памяти, применение в качестве вычислительных узлов законченных вычислительных машин, большой потенциал для масштабирования системы и целый ряд других особенностей.

В роли узла кластера может выступать однопроцессорная ВМ и ВС типа SMP (логически SMP-система реализованная как единственная ВМ). Одна из особенностей кластерной архитектуры состоит в том, что в одну систему соединяются узлы разного типа, от персональных компьютеров до мощных ВС. Кластерные системы с одинаковыми узлами называют гомогенными кластерами, а с разнотипными узлами - гетерогенными кластерами.

Взаимодействие между вычислительными машинами происходит в соответствии с одним из двух транспортных протоколов: TCP (Transmission Control Protocol), оперирует потоками байтов, гарантируя надежность доставки сообщения; UDP (User Datagram Protocol) посылает пакеты данных без гарантии доставки.

При обмене информацией используются два программных метода:

1. передача сообщения распределенной памяти основывается на явной передаче информационных сообщений между узлами кластера.
2. передача сообщения общей памяти, где происходит пересылка сообщений, но перемещение данных между узлами кластера скрыто от разработчика.

Узлы подключаются к сети с помощью сетевых адаптеров. Для связи ядра вычислительного узла с сетью применяется шина ввода/вывода. К шине подключаются локальные магнитные диски. Объединение элементы вычислительного ядра происходит благодаря локальной системной шины. Связь между шиной и шиной ввода/ вывода реализует мост.

Важной частью кластера является специализированное программное обеспечение (ПО), которое организует бесперебойную работу при отказе одного или нескольких узлов. Такое программное обеспечение установлено на каждый узел кластера и реализует механизм передачи сообщений над стандартными сетевыми протоколами, также может являться операционной системой. Именно с помощью специализированного ПО группа вычислительных машин, объединенных сетью, превращается в кластерную вычислительную систему. Благодаря кластерному ПО происходит перераспределение вычислительной нагрузки при отказе одного или нескольких узлов кластера и восстанавление вычисления при сбое в узле. Программное обеспечение каждого узла постоянно проверяет работоспособность всех узлов. Такой контроль основан на периодической рассылке каждым узлом сигнала, известного как keepalive («пока жив») или heartbeat («сердцебиение»). Если сигнал нет ответа от одного из узлов, то этот узел считается вышедшим из строя; возможность выполнения ввода/ вывода, его диски и другие ресурсы (включая сетевые адреса) перераспределяются между другими узлами, а программы, которые выполнялись, перезапускаются в других узлах. При наличии в кластере совместно используемых дисков, кластерное ПО поддерживает единую файловую систему.

В каждом кластере выполняется высокий уровень доступности -нет единой операционной системы и совместно используемой памяти, то есть отсутствуют проблемы когерентности кэшей [5].

При реализации кластерных систем используется один из двух подходов:

1. применяется для построения небольших кластерных систем, например, на базе небольших локальных сетей организаций или их подразделений. В таком кластере каждая ВМ продолжает работать как самостоятельная единица, одновременно выполняя функции узла кластерной системы;
2. ориентирован на использование кластерной системы в роли мощного вычислительного ресурса. Узлами кластера служат только системные блоки вычислительных машин, компактно размещаемые в специальных стойках. Управление системой и запуск задач осуществляет полнофункциональный хосткомпьютер. Он же поддерживает дисковую подсистему кластера и разнообразное периферийное оборудование. Отсутствие у узлов собственной периферии существенно удешевляет систему.

Масштабирование кластеров происходит путем добавления узлов, что позволяет достичь высочайших показателей производительности. Благодаря этой особенности архитектуры кластеры с сотнями и тысячами узлов положительно зарекомендовали себя на практике. До недавнего времени именно кластерная ВС занимала первую позицию в этом списке самых производительных систем. Речь идет о кластерной системе Roadrnnner BladeCenter QS22, созданной компанией IBM. Теоретическая пиковая производительность системы составляет 1376 TFLOPS, состоит она из 122..400 узлов на базе процессоров Opteron и PowerXCell.

Четыре преимущества, достигаемые с помощью кластеризации:

1. Абсолютная масштабируемость - создание больших кластеров, которые превосходят по вычислительной мощности самые производительные одиночные вычислительные машины. Один такой кластер в состоянии содержать десятки узлов, каждый из которых представляет собой мультипроцессор.
2. Наращиваемая масштабируемость - когда кластер создается так, что его можно наращивать, добавляя новые узлы маленькими порциями, так что бы пользователь мог начать с умеренной системы, расширяя ее по мере необходимости.
3. Высокий коэффициент готовности - в случае, когда каждый узел кластера является самостоятельной ВМ или ВС, отказ одного из узлов не создает потерю работоспособности кластера. Во многих системах отказоустойчивость автоматически поддерживается программным обеспечением.
4. Превосходное соотношение цена/производительность - кластер любой производительности можно создать, соединяя стандартные «строительные блоки», при этом его стоимость будет ниже, чем у одиночной ВМ с эквивалентной вычислительной мощностью.