Файл: Дипломный проект Калинин Е.А. 10.05.11 (финал).doc

2.2. Блок схема алгоритма

Настройка среды окружения

Тест по топологии звезда

Вывод результатов

Тест полный граф

Тест кольцо

Глава 3. Разработка программного обеспечения

3.1 Описание и состав суперкомпьютера «эск-е»

В состав суперкомпьютера «ЭСК-Е» входят вычислительные модули, размещаемые в вычислительных стойках (8шт.) СК и блок управления, технические средства которого размещаются в стойках управления (2шт.).

Структура суперкомпьютера «ЭСК-Е» представлена на Рисунке 3.1

Рисунок 3.1 - Структура СК

В состав СК ГВК входят:

• вычислительный модуль – 64 шт.;

• сервер загрузки/метаданных (СЗ/М) – 1 шт.;

• сервер мониторинга (СМ) – 1шт.;

• сервер системы хранения (ССХ) – 2 шт.;

• RAIDсистемы хранения – 2 шт.;

• вычислительная сеть Infiniband;

• сеть загрузки и управления GigabitEthernet/(СЗУ);

• сеть PCI-E;

• сеть мониторинга GigabitEthernet;

• сервер управления (СУ) – 1 шт.;

• центральный коммутатор СЗУ – 1 шт.;

• центральный коммутатор мониторинга – 1 шт. ;

• АРМ администратора – 1 шт.;

• АРМ мониторинга – 1 шт.;

• сервер Backup.

Вычислительная сеть СК выполнена на базе сети QDRInfiniband. Она объединяет ВМ (64шт.), СУ,CЗ/М, ССХ1, ССХ2 и серверbackupв единую сеть.

Сеть загрузки и управления основана на технологии Gigabit Ethernet.

ВМ подключаются к служебным серверам посредством 48 портовых коммутаторов по сети Gigabit Ethernet через центральный коммутатор СЗУ.

Cервер управления СК подключается к АРМ администратора и внешней сети пользователей.

Сеть мониторинга также выполнена по технологии Gigabit Ethernet. Технические средства СК подключаются к серверу мониторинга посредством 48 портовых коммутаторов сети мониторинга и центрального коммутатора мониторинга.

Сервер мониторинга связан с подсистемой бесперебойного питания и АРМ мониторинга.

Система хранения данных базируется на технологии Lustre.

Конструктивно вычислительные модули и блок управления размещаются в стойках высотой 42Uс системой распределения питания и мониторинга шкафа.

Вычислительная сеть обеспечивает коммуникации между процессорами, выполняющими параллельные программы на ВМ и доступ всех ВМ к системе хранения.

Все кабельные соединения вычислительной сети выполнены с использованием разъемов QSFP.

В качестве базового коммутатора сети используется центральная фабрика, построенная на базе управляемого модульного коммутатора Qlogicсерии 12800.

Коммутатор выполнен на базе шасси высотой 5U, устанавливаемого в типовой шкаф 19” (Шасси содержит модуль управления, блоки питания и вентиляторы системы охлаждения с горячей заменой и резервированиемN+1).

Корневой модуль двойной плотности (Spine) поддерживает до 4 граничных модулей (Leafs).

72 порта QDRInfiniBand4х модуляSpine, выведенных на объединительную панель (backplane), обеспечивают создание полносвязной обьединительной решетки для модулей решающего поля.

4 граничных модуля, каждый из которых имеет 18 портов QDRInfiniBand4х, выведенных на объединительную панель (backplane) и 18 внешних портовQDRInfiniBand4х с разьемамиQSFPпозволяют подключить к вычислительной сети все ВМ решающего поля и управляющие сервера.

Между любыми двумя устройствами, подключенными к портам коммутатора, находятся не более 3-х коммутирующих элементов.

Сеть загрузки и управления состоит из коммутаторов для подключения ВМ вычислительного кластера (КВК) и центрального коммутатора.

Для унификации коммуникационного оборудования в качестве коммутаторов КВК и центрального коммутатора сети загрузки и управления используются коммутаторы 3Com Switch 4200G 48-Port.

Сеть мониторинга обеспечивает серверу мониторинга, входящему в состав блока управления, доступ ко всем элементам оборудования СК.

Сеть мониторинга построена на базе технологии GigabitEthernet. Она обеспечивает инфраструктуру для управления следующими компонентами:

ВМ;

служебные серверы;

коммутаторы вычислительной сети и сети загрузки и управления;

источники бесперебойного питания.

Сеть мониторинга состоит из :

центрального коммутатора мониторинга;

граничных коммутаторов мониторинга.

К граничным коммутаторам подключаются порты мониторинга ВМ (по порту IPMI), системы распределения электропитания и мониторинга шкафа. В качестве базовой модели граничного коммутатора используется коммутатор 3Com Switch 4200G 48-Port.

К центральному коммутатору мониторинга подключаются порты мониторинга служебных серверов и RAIDмассивов, коммутаторов коммуникационных сетей, источников бесперебойного питания, системы распределения электропитания и мониторинга шкафа стойки управления. В качестве базовой модели центрального коммутатора используется коммутатор 3Com Switch 4200G 48-Port.

Сервер загрузки/метаданных обеспечивает сетевую загрузку операционной системы (ОС) в ВМ и поддержку её работоспособности. В дополнение к этому он обеспечивает работоспособность необходимых базовых системных сервисов. Кроме того, СЗ/М выполняет роль NFS-сервера и обеспечивает обращение из ВМ к файлам, расположенным на RAID – массиве, входящем в состав сервера. Кроме того он обеспечивает доступ к служебной информации файловой системы Lustre и её хранение.

Сервер управления контролирует процесс распределения задач на ВМ решающего поля и осуществляет сбор результатов вычислений и их окончательную обработку.

Серверы системы хранения обеспечивают доступ к данным файловой системы Lustre.

Сервер мониторинга обеспечивает динамический контроль за состоянием технических средств, входящих в состав СК.

В качестве серверной платформы СУ, СЗ/М, СМ и ССХ используются серверы, выполненные на базе серверной платформы SuperServer 6026T-URF. Высота сервера составляет 2U.

RAID – массивы системы хранения данных (RAID СХ1, RAID СХ2) являются основным хранилищем данных в файловой системе Lustre. Объемы RAID массивов составляют 12 Тбайт.

Сервер Backup, требующийся для хранения контрольных точек состояния ГВК должен иметь объем не менее 36 Тбайт. В качестве серверной платформы используется шасси SuperChassis 847E26-R1400UB.

Следующие разделы описывают функции NTB, поддерживаемую IntelXeonC5500/C3500.