Файл: Вадим Алджанов итархитектура от а до Я Теоретические основы. Первое.pdf

В данной главе мы рассмотрим базовые элементы, которые имеют прямое или косвенное отношение к ИТ.
Так система дренажа или котельная может рассматриваться в случаях наличия риска подтопления или пониженных температур.
Системы обеспечения и безопасности ИТ инфраструктуры не являются компонентами ИТ инфраструктуры. Как правило их внедрение и сопровождение производится административным департаментом и департаментом безопасности организации. Но данные системы являются основополагающими для развертывания ИТ инфраструктуры, особенно в случае «on premise» решений.
Понимание основных компонентов, их назначение и возможности может помощь ИТ и организации в целом правильно выстроить ИТ архитектуры предприятия. Введем основные определения:
Дата-центр (Data Center), или центр обработки данных (ЦОД/ЦХОД) – консолидация вычислительных ресурсов и средств хранения данных и связи в специализированном помещении или здании для размещения серверного и сетевого оборудования и исполняет функции обработки, хранения и распространения информации в интересах одного или множества клиентов.
Серверная комната (Server Room) – консолидация вычислительных ресурсов и средств хранения данных и связи в специализированном помещении для размещения серверного и сетевого оборудования и исполняет функции обработки, хранения и распространения информации в интересах данной компании.

Коммуникационная комната – специализированное помещении для размещения элементов
СКС, серверного или сетевого оборудования, систем безопасности и т п. Исполняет функции консолидации, обработки, хранения и обмена информацией с дата-центром компании.
Центр Обработки Данных (ЦОД)
Построение нового ЦОД – это сложный проект, реализация которого невозможна без практического опыта и стратегии развития организации. При проектировании и строительстве вычислительного центра необходимо учитывать множество факторов, часть из которых может быть неочевидной до начала эксплуатации. Процесс построения ЦОД может состоять из этапов:
•Формирование концепции, анализ задач и поиск возможных решений;
•Проектирование ЦОД;
•Строительство ЦОД;
•Ввод объекта в эксплуатацию.
Основной показатель работы ЦОД – отказоустойчивость. Так стандарты Uptime Institute и TIA-942 предполагает четыре уровня надёжности ЦОДа:
TIER I (N) – отказы оборудования или проведение ремонтных работ приводят к остановке работы всего дата центра. В дата центре отсутствуют фальшполы, резервные источники электроснабжения и источники бесперебойного питания, инженерная инфраструктура не зарезервирована;
TIER II (N+1) – имеется небольшой уровень резервирования, в дата-центре имеются фальшполы и резервные источники электроснабжения, однако проведение ремонтных работ также вызывает остановку работы дата-центра;
TIER III (N+1) – имеется возможность проведения ремонтных работ (включая замену компонентов системы, добавление и удаление вышедшего из строя оборудования) без остановки работы дата-центра. Инженерные системы частично (однократно) зарезервированы, имеется несколько каналов распределения электропитания и охлаждения, однако постоянно активен только один из них;
TIER IV (N+N) – имеется возможность проведения любых работ без остановки работы дата-центра. Инженерные системы полностью дублированы и т п.
Стандарты, регламенты и нормы
В ряде стран имеются стандарты на оборудование помещений дата-центров, позволяющие объективно оценить способность дата-центра обеспечить тот или иной уровень сервиса. Каждый из стандартов, как правило имеет свою внутреннюю классификацию дата центров по совокупности их параметров, и охватывает одну или несколько инженерных систем.
К наиболее известным стандартам по дата центрам можно отнести следующие:
Uptime Institute (UI)
Организация, разрабатывающая стандарты по требованиям и рекомендациям к инженерным системам дата центров при их проектировании, запуске и сопровождении. Вводится понятия уровня TIER дата центра. На данный момент является наиболее полным, структурированным и широко известным. Отличие стандартов Uptime Institute от TIA-942 и других помимо его гибкости заключается также в том, что в них излагаются требования не только технического, но и организационно-управленческого характера. В 2010 году были опубликованы рекомендации
Tier Standard: Operational Sustainability. Надёжность и самодостаточность складываются из следующих составляющих:
•надёжность места (оценивается по множеству параметров: от транспортной доступности до степени риска природных и техногенных катастроф);
•надёжность здания (соответствие техническим требованиям, устойчивость к природным и техногенным воздействиям и прочее);
•соответствие назначению (использование надёжных и проверенных технологий, наличие систем резервирования и прочее);

•отдача от капиталовложений;
•управление и функционирование (особенности организации работы, квалификация персонала и прочее).
Американский стандарт (ANSI) TIA-942
В США принят американский стандарт (ANSI) TIA-942, несущий в себе рекомендации по созданию дата центров. В стандарте TIA более подробно расписаны инженерно-технические требования к инфраструктуре дата-центров; имеется в нём и своего рода аналог системы уровней
Tier, принятый в Uptime Institute. По сравнению с Uptime Institute менее гибкий.
ASHRAE 90.4 – ASHRAE (Американская Ассоциация инженеров по отоплению,
охлаждению и кондиционированию воздуха)
ASHRAE 90.4 – ASHRAE (Американская Ассоциация инженеров по отоплению, охлаждению и кондиционированию воздуха) опубликовала финальную версию стандарта для дата-центров с учетом признания того факта, что уникальные характеристики каждого ЦОДа не позволяют оценивать их по всем тем же стандартам, каким они могли соответствовать до сих пор. Новый стандарт не использует PUE для измерения эффективности дата центра и полностью заменяет
PUE двумя более точными метриками: компонент механической нагрузки (КМН, Mechanical
Load Component, MLC) и компонент электрических потерь (КЭП, Electrical Loss Component,
ELC). В конечном счете эти показатели вошли в финальный вариант стандарта.
Стандарт BICSI 002 2010 (Data Center Design and Implementation Best Practices)
Стандарт BICSI 002 2010 (Data Center Design and Implementation Best Practices), разработанный Международной консультативной службой строительной отрасли (Building
Industry Consulting Service International) который дополняет существующие стандарты TIA
(TIA-EIA-569-A/B и TIA-942), CENELEC и ISO/IEC, ASHRAE и т п. По содержанию он во многом близок к TIA-942, но уровни доступности заменены классами. В нём гораздо более детально по сравнению с другими стандартами расписаны технические требования, но при этом нет никакой системы рейтингов и уровней (хотя в одном из разделов перечисляются уровни доступности системы электроснабжения). Обновленная и дополненная версия этого стандарта –
ANSI/BICSI 002—2014.
Серия стандартов EN50600 компании «CENELEC»
Серия стандартов EN50600 компании «CENELEC» определяет минимальные требования для инфраструктуры дата центров всех форм и размеров. Они включают в себя защиту от природных катаклизмов, падений и несанкционированного доступа, включая внутренние и внешние экологические события. В стандарте EN 50600-3-1 рассматриваются измерения, контроль и учет энергопотребления в определенных локациях. При правильном применении этого стандарта он может помочь оценить работу дата центра, используя разделы из серии стандартов EN
50600—4 и его ключевые показатели эффективности (Key Performance Indicators KPI). Стандарт
EN 50600—4 напрямую управляет факторами эффективности, такими как PUE и REF.

также рассматривает разработку технического отчета, который бы содержал рекомендации по проектированию дата центров применительно к управлению ресурсами.
Стандарт энергетического управления ISO 50001:2011
Стандарт энергетического управления ISO 50001:2011 предоставляет организациям концепцию для интеграции энерго-эффективности в процесс управления. Среди прочего, он включает в себя установку базовых линий, которые измеряются, контролируются и корректируются для обеспечения контроля управления, используя эти данные в качестве базы для текущего прогнозирования, улучшения операций по энерго-эффективности, приобретения и повсеместного размещения эффективного низкоэнергетического оборудования.
Стандарт экологического управления ISO 14001:2004
Стандарт экологического управления ISO 14001:2004 предлагает концепцию обеспечения тщательного контроля интерфейса, чтобы избежать или минимизировать какой-либо негативный экологический эффект. По стандарту ISO 14001 требуется инициативное управление экологическими рисками для поддержки долгосрочных экологических и экономических целей.
Следующая редакция – ISO 14001:2015.
Стандарты ITU-TL.1300 от «ITU-T Study Group 5»
ITU-TL.1300 от «ITU-T Study Group 5» в значительной степени основан на инициативе ЕС по уменьшению воздействия на ЦОДы (EU CoC Best Practices V4.0.5) и включает
23 дополнительных пункта. Различия касаются, в частности, предпочтением «ITU-T» ссылаться на диапазон изменения окружающей среды, поддержанный серией стандартов ETSI EN 300 019, нежели на диапазон, указанный в документе Евросоюза.
Стандарты TÜV Süd
Немецкая экспертная организация, один из лидеров в области экспертизы, испытаний и сертификации. Аббревиатура TÜV («Technische Überwachungs-Verein») в переводе с немецкого означает «Объединение Технического надзора». Как одно из направлений деятельности организации разработка стандартов и сертификации дата-центров в Германии.
ГОСТы серии 34
ГОСТ
34. ххх
(Единый комплекс стандартов и руководящих документов на автоматизированные системы, ЕКС АС) – комплекс государственных стандартов СССР, межотраслевых руководящих документов и методических материалов, задуманный в конце 80х годов.
Вопросы, связанные с Дата центрами
Положения стандартов UI, BCSI, TIA/EIA—942, EN 50173—5 и ISO/IEC 24764 во многом похожи, однако имеются и различия.
Наличие возможности экстренного отключения нагрузки (англ. Emergency Power-Off, сокращённо EPO) является одной из наиболее обсуждаемых проблем, связанных с проектированием и строительством дата-центрах. В разных стандартах она трактуется по-разному.
Согласно стандартам Uptime Institute, возможность экстренного отключения питания в дата-центре не рекомендуется, и нужна лишь в случаях, когда это предписано в местных законодательных актах. Это связано с тем, что экстренное отключение питания нередко становится причиной Даун таймов (например, если кто-то активирует соответствующую функцию по ошибке или невнимательности).
В стандарте TIA-942-2 прямо указано: «Не устанавливать кнопку экстренного отключения питания, если этого не требуют местные власти».
В стандарте BCSI отмечено, что возможность экстренного отключения питания в дата-центре влечёт за собой огромные риски, но в то же время не содержится никаких прямых указаний и рекомендаций; указано, что функция экстренного отключения питания может быть реализована по усмотрению владельцев дата-центра.

Наряду с уровнем доступности и надёжностью важной характеристикой современного дата-центра является энерго-эффективность. Исследованиями эффективного использования ресурсов дата-центрами занимается консорциум Green Grid. Коэффициент энергоэффективности
(PUE) вычисляется как отношение общий объём потребляемой энергии (Total Facility Energy) на объём энергии потребляемый IT-инфраструктурой (IT Equipment Energy).
Кроме этого в последнее время появляется довольно публикаций по вопросам экологичности эксплуатации дата центров.
Системы обеспечения можно условно разделить на две подгруппы: Инженерные системы и Системы Безопасности.
Инженерные системы
К данной категории можно отнести следующие решения и системы:
Физическая инфраструктура
Структурированная Кабельная Система (СКС)
Система Основного Электропитания
Система Резервного / Аварийного Электропитания
Система Бесперебойного Электропитания
Система Основного Освещения
Система Аварийного Освещения
Система Охлаждения и Вентиляции
Система Управления Зданием
Инженерная инфраструктура составляет большую часть стоимости ЦОД, и нередко доходит до 70%. Распределение затрат на подсистемы дата центров неравномерны. Наибольшая доля, около трети всех потраченных финансовых ресурсов, приходится на стоимость системы гарантированного электропитания (34%). Также значительные траты предусматривают организация кондиционирования
(21%) и архитектура самого здания
(23%).
На коммуникационные сети приходится 7% плюс еще около 9% на оборудование газового пожаротушения, систем управления доступом и видеонаблюдения. Кроме этого имеет значение уровень отказоустойчивости ЦОД.
Стоимость инженерных систем обеспечения ЦОДа может варьироваться в широких пределах и часто зависит от уровня отказоустойчивости. Расчетные расходы можно принять как
22,000—35,000 долларов на 1 м2 для дата-центра уровня TIER III, а для уровня TIER IV доходить до 45,000—65,000 долларов на 1 м2. В среднем, для дата-центра TIER II+ колеблется в пределах
12,000—33,000 долларов на 1 м2.
Физическая инфраструктура
Физическая инфраструктура представляет из себя помещение, здание или пространство для расположения инженерных систем и вычислительных ресурсов. По стандартам построения ЦОД различают помещения ЦОД по их назначению:
•Машинный зал,
•Помещения для коммуникации
•Технические помещения для ИБП и т п.
Кроме этого вводятся понятия:
•Площадь Стойки (Rack Area)
•Количество Вмещаемых Стоек (Rack Yield)
•Единица Эквивалента Стойки (REU)
По размерам ЦОДы можно разделить по размеру площади серверного зала (машинного зала) и ассоциируется с количеством вмещаемых стоек. Так для примера:

Кроме этого физическая инфраструктура должна предусматривать возможность установки коммутационных комнат и узлов распределения, прокладку кабеля между ними. Для помещений предоставлять возможность установки точек подключения. При ведении проекта необходимо наличия:
•План здания и расположением шахт
•Общий план инженерных систем
Необходимо определить:
•Количество, расположение и размер помещения ЦОД
•Количество, расположение и размер помещений коммутационных помещений
•Количество и расположение отдельно расположенных коммутационных шкафов
•Количество, расположение и размер шахт и их назначение
•Количество, расположение и размер технических помещений
Структурированная Кабельная Система (СКС)
При проектировании СКС здания или дата центра необходимо руководствоваться, но не ограничиваться требованиями общих стандартов TIA-EIA-569-A и TIA-942, а также стандартами СКС:
•EIA/TIA-568С Commercial Building Telecommunications Wiring Standard – американский стандарт;
•ISO/IEC IS 11801—2002 Information Technology. Generic cabling for customer premises – международный стандарт;
•CENELEC EN 50173 Information Technology. Generic cabling systems – европейский стандарт.
Структурированная Кабельная Система (СКС) представляет из себя набор пассивных компонентов компьютерной сети. В качестве элементов СКС можно выделить следующие:
•Коммуникационные шкафы
•Патч-панели – Панели для терминирования кабеля в шкафах
•Кабель
•Кабельные органайзеры
•Кабелеводы, короба для прокладки кабеля
•Модули и розетки рабочих точек
•Коннекторы (RJ-45) кабеля, в случае прямого включения устройств, таких, например, как IP камеры
•Пач-корды для подключения рабочих точек и розеток, активного оборудования и патч-панелей или активного оборудования между собой
Условно СКС можно разделить на две составляющие:

•вертикальная – обеспечивает коммуникацию между этажами, отдельными объектами, центрами распределения, коммуникационными стойками и шкафами.
•горизонтальная – обеспечивает коммуникацию рабочих точек.
Горизонтальная составляющая СКС включает в себя:
•Центры распределения – узлы агрегирования кабеля.
•Рабочие точки – места подключения конечного оборудования.
Рабочие точки могут представлять из себя набор розеток для подключения конечного оборудования. Например, одна рабочая точка может включать в себя одну розетку ИБП и одну розетку RJ-45.
По возможности всегда обеспечивайте избыточность рабочих точек, как правило порядка
30 процентов и более. Гораздо проще и дешевле обеспечить их прокладку сейчас, чем после введения здания в эксплуатацию.
Как правило в качестве основной среды передачи данных для вертикальной составляющей используется оптический кабель, а для горизонтальной составляющей – «витая пара».
Кабель «витая пара» представляет из себя проводники скрученные попарно и между собой и различается по категориям, определяющим в основном полосу пропускания сигнала и как следствие скорость передачи данных. На данный момент является основным средством (средой) для построения СКС организации.
В таблице представлены основные типы кабеля «витая пара»
Кроме этого кабель
«витая пара» различается по категориям в соответствии с характеристиками.
Таблица основных значений различных категорий указан в таблице ниже.