ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 24.12.2021
Просмотров: 6692
Скачиваний: 8
Мультикомпьютеры с передачей сообщений 623
менее стандартных узлов, которые связаны друг с другом высокоскоростной се-
тью. Поэтому ниже мы просто рассмотрим несколько конкретных примеров сис-
тем МРР: Cray T3E и Intel/Sandia Option Red.
СгауТЗЕ
В семейство ТЗЕ (последователя T3D) входят самые последние суперкомпьютеры,
восходящие к компьютеру 6600. Различные модели — ТЗЕ, ТЗЕ-900 и ТЗЕ-1200 —
идентичны с точки зрения архитектуры и различаются только ценой и производи-
тельностью (например, 600, 900 или 1200 мегафлопов на процессор). Мегафлоп —
это 1 млн операций с плавающей точкой/с. (FLOP — FLoating-point OPerations —
операции с плавающей точкой). В отличие от 6600 и Сгау-1, в которых очень мало
параллелизма, эти машины могут содержать до 2048 процессоров. Мы используем
термин ТЗЕ для обозначения всего семейства, но величины производительности
будут приведены для машины ТЗЕ-1200. Эти машины продает компания Cray
Research, филиал Silicon Graphics. Они применяются для разработки лекарствен-
ных препаратов, поиска нефти и многих других задач.
В системе ТЗЕ используются процессоры DEC Alpha 21164. Это суперскаляр-
ный процессор RISC, способный выдавать 4 команды за цикл. Он работает с час-
тотой 300, 450 и 600 МГц в зависимости от модели. Тактовая частота — основное
различие между разными моделями ТЗЕ. Alpha — это 64-битная машина с 64-бит-
ными регистрами. Размер виртуальных адресов ограничен до 43 битов, а физичес-
ких — до 40 битов. Таким образом, возможен доступ к 1 Тбайт физической памяти.
Каждый процессор Alpha имеет двухуровневую кэш-память, встроенную в мик-
росхему процессора. Кэш-память первого уровня содержит 8 Кбайт для команд и
8 Кбайт для данных. Кэш-память второго уровня — это смежная трехвходовая ас-
социативная кэш-память на 96 Кбайт, содержащая и команды и данные вместе.
Кэш-память обоих уровней содержит команды и данные только из локального ОЗУ,
а это может быть до 2 Гбайт на процессор. Поскольку максимальное число процес-
соров равно 2048, общий объем памяти может составлять 4 Тбайт.
Каждый процессор Alpha заключен в особую схему, которая называется обо-
лочкой (shell) (рис. 8.29). Оболочка содержит память, процессор передачи данных
и 512 специальных регистров (так называемых Е-регистров). Эти регистры могут
загружаться адресами удаленной памяти с целью чтения или записи слов из уда-
ленной памяти (или блоков из 8 слов). Это значит, что в машине ТЗЕ есть доступ
к удаленной памяти, но осуществляется он не с помощью обычных команд LOAD
и STORE. Эта машина представляет собой гибрид между NC-NUMA и МРР, но все-
таки больше похожа на МРР. Непротиворечивость памяти гарантируется, посколь-
ку слова, считываемые из удаленной памяти, не попадают в кэш-память.
Узлы в машине ТЗЕ связаны двумя разными способами (см. рис. 8.29). Основная
топология — дуплексный 3-мерный тор. Например, система, содержащая 512 узлов,
может быть реализована в виде куба 8x8x8. Каждый узел в 3-мерном торе имеет 6
каналов связи с соседними узлами (по направлению вперед, назад, вправо, влево,
вверх и вниз). Скорость передачи данных в этих каналах связи равна 480 Мбайт/с
в любом направлении.
6 2 4 Глава 8 Архитектуры компьютеров параллельного действия
Сеть
Диск
Магнитофон
GigaRing
Оболочка -
Узел
t
Alpha
Память
1 -
Регистры
управления +
Е-регистры
Процессор
передачи
данных
>
* -
Alpha
Память
4 - 1
Регистры
управления +
Е-регистры
1
Процессор
передачи
данных
!
Alpha
Память
4 - 1
Регистры
управления +
Е-регистры
Процессор
передачи
данных
•
1
!
i
Дуплексный трехмерный тор
Рис. 8.29.
Cray Research T3E
Узлы также связаны одним или несколькими
GigaRings
— подсистемами вво-
да-вывода с коммутацией пакетов, обладающими высокой пропускной способнос-
тью Узлы используют эту подсистему для взаимодействия друг с другом, а также
с сетями, дисками и другими периферическими устройствами. Они по ней посы-
лают пакеты размером до 256 байтов. Каждый GigaRing состоит из пары колец
шириной в 32 бита, которые соединяют узлы процессоров со специальными узла-
ми ввода-вывода. Узлы ввода-вывода содержат гнезда для сетевых карт (напри-
мер, HIPPI, Ethernet, ATM, FDDI), дисков и других устройств.
В системе ТЗЕ может быть до 2048 узлов, поэтому неисправности будут проис-
ходить регулярно. По этой причине в системе на каждые 128 пользовательских
узлов содержится один запасной узел. Испорченные узлы могут быть замещены
запасными во время работы системы без перезагрузки Кроме пользовательских и
запасных узлов есть узлы, которые предназначены для запуска серверов опера-
ционной системы, поскольку пользовательские узлы запускают не всю систему,
а только ядро. В данном случае используется операционная система UNIX.
Intel/Sandia Option Red
Компьютеры с высокой производительностью и вооруженные силы идут в США
рука об руку с 1943 года, начиная с машины ENIAC, первого электронного компью-
тера. Связь между американскими вооруженными силами и высокоскоростны-
ми вычислениями до сих пор продолжается. В середине 90-х годов департаменты
обороны и энергетики приступили к выполнению программы разработки 5 систем
МРР, которые будут работать со скоростью 1, 3, 10, 30 и 100 терафлопов/с соот-
Мультикомпьютеры с передачей сообщений 625
ветственно. Для сравнения: 100 терафлопов (10
14
операций с плавающей точкой
в секунду) — это в 500000 раз больше, чем мощность процессора Pentium Pro,
работающего с частотой 200 МГц.
В отличие от машины ТЗЕ, которую можно купить в магазине (правда, за боль-
шие деньги), машины, работающие со скоростью 10
14
операций с плавающей точ-
кой, — это уникальные системы, распределяемые в конкурентных торгах Департа-
ментом энергетики, который руководит национальными лабораториями. Компания
Intel выиграла первый контракт; IBM выиграла следующие два. Если вы планиру-
ете вступить в соревнование в будущем, вам понадобится 80 млн долларов. Эти
машины предназначены для военных целей. Какой-то сообразительный работник
Пентагона придумал патриотические названия для первых трех машин: red, white
и blue (красный, белый и синий — цвета флага США). Первая машина, выполняв-
шая 10
14
операций с плавающей точкой, называлась
Option Red
(Sandia National
Laborotary, декабрь 1996), вторая —
Option Blue
(1999), а третья —
Option White
(2000). Ниже мы будем рассматривать первую из этих машин, Option Red.
Машина Option Red состоит из 4608 узлов, которые организованы в трехмер-
ную сетку. Процессоры запакованы на платах двух разных типов. Платы
kestrel
используются в качестве вычислительных узлов, а платы
eagle
используются
для сервисных, дисковых, сетевых узлов и узлов загрузки. Машина содержит
4536 вычислительных узлов, 32 сервисных узла, 32 дисковых узла, 6 сетевых узлов
и 2 узла загрузки.
Плата kestrel (рис. 8.30,
а)
содержит 2 логических узла, каждый из которых
включает 2 процессора Pentium Pro на 200 МГц и разделенное ОЗУ на 64 Мбайт.
Каждый узел kestrel содержит собственную 64-битную локальную шину и собствен-
ную микросхему
NIC (Network Interface Chip
—
сетевой адаптер).
Две микро-
схемы NIC связаны вместе, поэтому только одна из них подсоединена к сети, что
делает систему более компактной. Платы eagle также содержат процессоры
Pentium Pro, но всего два на каждую плату. Кроме того, они отличаются высокой
производительностью процесса ввода-вывода.
Платы связаны в виде решетки 32x38x2 в виде двух взаимосвязанных плоско-
стей 32x38 (размер решетки продиктован целями компоновки, поэтому не во всех
узлах решетки находятся платы). В каждом узле находится маршрутизатор с шес-
тью каналами связи: вперед, назад, вправо, влево, с другой плоскостью и с платой
kerstel или eagle. Каждый канал связи может передавать информацию одновре-
менно в обоих направлениях со скоростью 400 Мбайт/с. Применяется маршрути-
зация «червоточина», чтобы сократить время ожидания.
Применяется пространственная маршрутизация, когда пакеты сначала потенци-
ально перемещаются в другую плоскость, затем вправо-влево, затем вперед-назад и,
наконец, в нужную плоскость, если они еще не оказались в нужной плоскости. Два
перемещения между плоскостями нужны для повышения отказоустойчивости.
Предположим, что пакет нужно переместить в соседний узел, находящийся впере-
ди исходного, но канал связи между ними поврежден. Тогда сообщение можно от-
править в другую плоскость, затем на один узел вперед, а затем обратно в первую
плоскость, минуя таким образом поврежденный канал связи.
6 2 6 Глава 8. Архитектуры компьютеров параллельного действия
64-битная локальная шина
Плата
" kestrel
Pentium
Pro
Pentium
Pro
64
Мбайт
Ввод-
вывод
Pentium
Pro
Pentium
Pro
64
Мбайт
Ввод-
вывод
Сетевой
адаптер
Сетевой
адаптер
64-битная локальная шина
а б
Рис. 8.30. Система Intel/Sandia Option Red: плата kestrel (а); сеть (б)
Систему можно логически разделить на 4 части: сервис, вычисление, ввод-вы-
вод и система. Сервисные узлы — это машины UNIX общего назначения с разде-
лением времени, которые позволяют программистам писать и отлаживать свои
программы. Вычислительные узлы запускают большие приложения. Они запуска-
ют не всю систему UNIX, а только микроядро, которое называется кугуаром (coguar)
1
.
Узлы ввода-вывода управляют 640 дисками, содержащими более 1 Тбайт данных.
Есть два независимых набора узлов ввода-вывода. Узлы первого типа предназначе-
ны для секретной военной работы, а узлы второго типа — для несекретной работы.
Эти два набора вводятся и удаляются из системы вручную, поэтому в каждый
момент времени подсоединен только один набор узлов, чтобы предотвратить утечку
информации с секретных дисков на несекретные диски. Наконец, системные узлы
используются для загрузки системы.
COW — Clusters of Workstations
(кластеры рабочих станций)
Второй тип мультикомпьютеров — это системы
COW (Cluster of Workstations —
кластер рабочих станций)
или
NOW (Network of Workstations — сеть рабочих
станций)
[8,90]. Обычно он состоит из нескольких сотен персональных компьюте-
ров или рабочих станций, соединенных посредством сетевых плат. Различие между
МРР и COW аналогично разнице между большой вычислительной машиной и персо-
нальным компьютером. У обоих есть процессор, ОЗУ, диски, операционная система
и т. д. Но в большой вычислительной машине все это работает гораздо быстрее
(за исключением, может быть, операционной системы). Однако они применяются
и управляются по-разному. Это же различие справедливо для МРР и COW.
Процессоры в МРР — это обычные процессоры, которые любой человек может
купить. В системе ТЗЕ используются процессоры Alpha; в системе Option Red —
процессоры Pentium Pro. Ничего специфического. Используются обычные дина-
мические ОЗУ и система UNIX.
1
Кугуар (или пума), как известно, очень быстрое животное. Видимо, этот термин был использован
с целью отметить высокое быстродействие микроядра. —
Примеч. научи, ред.
Мультикомпьютеры с передачей сообщений 627
Исторически система МРР отличалась высокоскоростной сетью. Но с появле-
нием коммерческих высокоскоростных сетей это отличие начало сглаживаться.
Например, исследовательская группа автора данной книги собрала систему COW,
которая называется
DAS (Distributed ASCII Supercomputer).
Она состоит из
128 узлов, каждый из которых содержит процессор Pentium Pro на 200 МГц и ОЗУ
на 128 Мбайт (см. http://www.cs.vu.nl/~baL/das.htmt). Узлы организованы в 2-мер-
ный тор. Каналы связи могут передавать информацию со скоростью 160 Мбайт/с
в обоих направлениях одновременно. Эти характеристики практически не отлича-
ются от характеристик машины Option Red: скорость передачи информации по
каналам связи в два раза ниже, но размер ОЗУ каждого узла в два раза больше.
Единственное существенное различие состоит в том, что бюджет Sandia был зна-
чительно больше. Технически эти две системы практически не различаются.
Преимущество системы COW над МРР в том, что COW полностью состоит из
доступных компонентов, которые можно купить. Эти части выпускаются больши-
ми партиями. Эти части, кроме того, существуют на рынке с жесткой конкуренци-
ей, из-за которой производительность растет, а цены падают. Вероятно, системы
COW постепенно вытеснят ММР, подобно тому как персональные компьютеры
вытеснили большие вычислительные машины, которые применяются теперь только
в специализированных областях.
Существует множество различных видов COW, но доминируют два из них: цен-
трализованные и децентрализованные. Централизованные системы COW пред-
ставляют собой кластер рабочих станций или персональных компьютеров, смон-
тированных в большой блок в одной комнате. Иногда они компонуются более
компактно, чем обычно, чтобы сократить физические размеры и длину кабеля. Как
правило, эти машины гомогенны и не имеют никаких периферических устройств,
кроме сетевых карт и, возможно, дисков. Гордон Белл (Gordon Bell), разработчик
PDP-11 и VAX, назвал такие машины
«автономными рабочими станциями»
(по-
скольку у них не было владельцев).
Децентрализованная система COW состоит из рабочих станций или персональ-
ных компьютеров, которые раскиданы по зданию или по территории учреждения.
Большинство из них простаивают много часов в день, особенно ночью. Обычно
они связаны через локальную сеть. Они гетерогенны и имеют полный набор пери-
ферийных устройств. Самое важное, что многие компьютеры имеют своих вла-
дельцев.
Планирование
Возникает вопрос: чем отличается децентрализованная система COW от локальной
сети, соединяющей пользовательские машины? Отличие связано с программным
обеспечением и не имеет никакого отношения к аппаратному обеспечению. В ло-
кальной сети пользователи работают с персональными машинами и используют
только их для своей работы. Децентрализованная система COW, напротив, явля-
ется общим ресурсом, которому пользователи могут поручить работу, требующую
для выполнения нескольких процессоров. Чтобы система COW могла обрабаты-
вать запросы от нескольких пользователей, каждому из которых нужно несколько
процессоров, этой системе необходим планировщик заданий.