Файл: Дипломный проект Калинин Е.А. 10.05.11 (финал).doc

Рис. 2.7. Топология соединительной сети «гиперкуб»

1.2.3 Обзор коммуникационных сред

Рассмотрим современные и актуальные коммуникационные среды, по состоянию на 2011год.

InfiniBand является самой быстро развивающейся технологией межузловых высокоскоростных коммуникаций. Коммуникационная среда InfiniBand отличается от прочих тем, что эту технологию поддерживает и совершенствует достаточно большое количество производителей аппаратного обеспечения. Практически все разновидности высокоскоростных интерконнектов, за исключением Gigabit Ethernet, являются разработками какой-либо одной компании, которая занимается развитием интерфейса, производством аппаратных решений и разработкой необходимого программного обеспечения. Благодаря наличию конкуренции не только внешней — с другими видами интерконнектов, но и внутренней, среди производителей аппаратного обеспечения и разработчиков ПО для InfiniBand, именно эта коммуникационная среда является наиболее динамично развивающейся. 

Типичными параметрами для коммуникационной среды этого класса являются реальная скорость передачи данных от  800 до 1400 МБ/с и время задержки на уровне 3-6 мкс в зависимости от используемых платформ и типов интерфейсов

Архитектура InfiniBand (IBA) предлагается как комплексное решение многих проблем: увеличения пропускной способности интерфейса ввода-вывода компьютеров и ВМ параллельных серверов, создания высокоэффективных универсальных коммуникационных сред параллельных вычислительных систем, локальных и глобальных сетей, повышения отказоустойчивости и гарантированного качества обслуживания .

Fibre Channel (FC) — семейство протоколов для высокоскоростной передачи данных. Стандартизацией протоколов занимается Технический комитет T11, входящий в состав Международного комитета по стандартам в сфере ИТ (InterNational Committee for Information Technology Standards — INCITS), аккредитованного Американским национальным институтом стандартов (ANSI). Изначальное применение FC в области суперкомпьютеров впоследствии практически полностью перешло в сферу сетей хранения данных, где FC используется как стандартный способ подключения к системам хранения данных уровня предприятия. Версии FC приведены в таблице 2.1

Таблица 2.1

Наметилась также тенденция к переносу транспортного уровня протокола FC в тот же Gigabit и 10G Ethernet.

Fibre Channel широко применяется для создания Сетей Хранения Данных (Storage Area Networks). Благодаря высокой скорости передачи данных, малой задержке и расширяемости практически не имеет аналогов в этой области. Однако, в последние годы, область его применения постепенно перемещается в сегмент высокопроизводительных систем и решений, а бюджетный сегмент с успехом осваивается недорогими решениями iSCSI на базе Gigabit Ethernet и 10G Ethernet. Наметилась также тенденция к переносу транспортного уровня протокола FC в тот же Gigabit и 10G Ethernet при помощи протоколов FCoE и FCIP [9].

Gigabit Ethernet – характеристики, приведены в таблице 2.2

Таблица 2.2.

10-гигабитный Ethernet. Новый стандарт 10-гигабитного Ethernet включает в себя семь стандартов физической среды для LAN, MAN и WAN. В настоящее время он описывается поправкой IEEE 802.3ae и должен войти в следующую ревизию стандарта IEEE 802.3.

• 10GBASE-CX4 — Технология 10-гигабитного Ethernet для коротких расстояний (до 15 метров), используется медный кабель CX4 и коннекторы InfiniBand.

• 10GBASE-SR — Технология 10-гигабитного Ethernet для коротких расстояний (до 26 или 82 метров, в зависимости от типа кабеля), используется многомодовое волокно. Он также поддерживает расстояния до 300 метров с использованием нового многомодового волокна (2000 МГц/км).

• 10GBASE-LX4 — использует уплотнение по длине волны для поддержки расстояний от 240 до 300 метров по многомодовому волокну. Также поддерживает расстояния до 10 километров при использовании одномодового волокна.

• 10GBASE-LR и 10GBASE-ER — эти стандарты поддерживают расстояния до 10 и 40 километров соответственно.

• 10GBASE-SW, 10GBASE-LW и 10GBASE-EW — Эти стандарты используют физический интерфейс, совместимый по скорости и формату данных с интерфейсом OC-192 / STM-64 SONET/SDH. Они подобны стандартам 10GBASE-SR, 10GBASE-LR и 10GBASE-ER соответственно, так как используют те же самые типы кабелей и расстояния передачи.

• 10GBASE-T, IEEE 802.3an-2006 — принят в июне 2006 года после 4 лет разработки. Использует экранированную витую пару. Расстояния — до 100 метров.

Подробнее рассмотрим PCI Express, или PCIe, или PCI-E (также известная как 3GIO for 3rd Generation I/O; не путать с PCI-X и PXI) — компьютерная шина, использующая программную модель шины PCI и высокопроизводительный физический протокол, основанный на последовательной передаче данных.

Развитием стандарта PCI Express занимается организация PCI Special Interest Group.

В отличие от шины PCI, использовавшей для передачи данных общую шину, PCI Express, в общем случае, является пакетной сетью с топологией типа звезда, устройства PCI Express взаимодействуют между собой через среду, образованную коммутаторами, при этом каждое устройство напрямую связано соединением типа точка-точка с коммутатором.

Кроме того, шиной PCI Express поддерживается:

• горячая замена карт;

• гарантированная полоса пропускания (QoS);

• управление энергопотреблением;

• контроль целостности передаваемых данных.

Разработка стандарта PCI Express была начата фирмой Intel после отказа от шины InfiniBand. Официально первая базовая спецификация PCI Express появилась в июле 2002 года.

2006 году сама идея возможности кабельного удлинения канала PCI Express скептически воспринималась многими специалистами – практиками. Весьма популярным было следующее утверждение: «PCI Express – технология коммуникаций внутри материнской платы. Для объединения материнских плат между собой существует Infiniband». И пусть эта конкретная трудность оказалась, в итоге, надуманной, хотелось бы понимать, какие еще проблемы нас подстерегают.

С тех самых пор, как примерно 10 лет назад создатели суперкомпьютеров, в большинстве своем, сознательно отказались от собственных разработок оборудования, перейдя на кластерную технологию, в их среде утвердился весьма разумный обычай. Стало принято начинать всякое обсуждение планов создания собственного, самобытного оборудования с ответа на простой вопрос: «Если это и в самом деле так хорошо, то почему так не делают все остальные»? Невозможностью внятно ответить на этот вполне законный вопрос всякое такое обсуждение, как правило, и заканчивалось [10].

Любопытно отметить, что первый вариант текста этой главы был посвящен попытке дать развернутый, аргументированный ответ именно на этот «проклятый вопрос». Несколько недель спустя главу пришлось переписать. Об ответе на «проклятый вопрос» позаботилась сама жизнь. Хронология этого ответа целиком укладывается в 2007 год и выглядит довольно впечатляюще:

- в начале года официально опубликована спецификация кабельного варианта PCI Express, подтверждающая работоспособность по медному кабелю длиной до 10 метров,

- к концу лета не очень широко известная в мире американская фирма OneStopSystems объявила о производстве коммуникационного оборудования для малоразмерных кластеров на базе прямой коммутации PCI Express,

- ближе к концу года с аналогичным предложением вышла на рынок фирма Dolphin Interconnect, знаменитая в прошлом как разработчик кластерной коммуникационной технологии SCI,

- наконец, фирма Samtec, признанный в мире «законодатель мод» в выпуске кабелей и разъемов, приступила к серийному производству кабельных удлинителей PCI Express, причем не для новых, так и не появившихся в широкой продаже, разъемов, предусмотренных кабельной спецификацией, а для стандартных ножевых разъемов, используемых в серийно выпускаемых материнских платах. Это случилось в начале декабря.

Завершающее событие в этом списке совершенно недвусмысленно говорит о том, что «проклятый вопрос» больше не стоит. Точнее, правильная формулировка «проклятого вопроса» теперь звучит так: «Если так делают уже буквально все, чего же мы ждем»?

Технологии прямой коммутации каналов PCI Express, очевидно, оказались в «точке роста». В этом случае грань между использованием «самодельного» и покупного оборудования стирается – опытный образец собственной разработки зачастую оказывается законченным одновременно с появлением на рынке аналогичных изделий заводского выпуска. Из этого ни в коей мере не следует, что от разработки опытных образцов надо отказаться и просто подождать, пока все новые технические решения будут найдены другими. Все в точности наоборот. Разработчик, уклоняющийся от участия в общей гонке, рискует отстать настолько, что перестанет понимать, куда и зачем все бегут. Чтобы «пойти в магазин и просто купить, не разрабатывая» новое техническое решение, в котором кто-то удачно и недорого реализовал Ваши мысли, весьма желательно эти самые мысли иметь.

Словом, в сложившейся ситуации нам необходимо очень точно и конкретно разобраться, что именно происходит, какие решения нам предлагает промышленность, как именно их можно использовать при построении суперкомпьютера с коммуникационной системой нового типа.

Чтобы понять масштаб проблемы, нам придется несколько более подробно, чем при планировании монтажа и наладки традиционного кластера, углубиться во внутреннюю «кухню» PCI Express.

PCI Express, как и все современные сети, является сетью коммутируемой. Ничего похожего на режим «коллизий», свойственный ранним версиям Ethernet, в ней, конечно же, нет. Коммуникационная магистраль представляет собой набор узлов, соединенных дуплексными каналами «точка – точка». Топология соединений – дерево. Корень дерева – особый узел, называемый root complex (процессор+системная память), листья дерева – устройства. Вершины дерева, не являющиеся листьями, представляют собой коммутаторы, то есть устройства, которые способны принять сетевой пакет по некоторому входу, проанализировать содержащийся в пакете адрес назначения и, в зависимости от того, чему равен адрес, выдать пакет в тот или иной выход.

Настройка коммутаторов происходит аппаратно при включении компьютера. В этот момент каждое из устройств – листьев дерева посылает в направлении корня специальные сетевые пакеты, в которых содержится информация о необходимых адресных диапазонах. Например, видеоадаптер мог бы послать такой пакет: «под буфер регенерации мне необходимо 8 мегабайт адресного пространства памяти, а под регистры управления – еще 512 байт». В результате совместной работы корневого узла и коммутаторов, в обратном направлении поступают ответные сообщения, в которых содержатся конкретные адреса. Устройствам предлагается занять именно их. Например, ответ видеоадаптеру мог бы иметь вид: «Твои 8 мегабайт отныне начинаются с адреса такого-то, а твои 512 байт – с такого …». Настроившись таким образом, коммутаторы работают прозрачно, то есть без всякого программного вмешательства в процесс коммутации пакетов. Если узел – лист дерева знает адрес получателя для пакета, который он хочет отправить, ему достаточно сформировать пакет и выдать его в сеть. Пакет найдет адресата.