Инженерные системы цод что это
Состав инженерных систем современного ЦОДа
Инфраструктура «идеального» дата-центра – это совокупность тесно взаимодействующих комплексов различных инженерных систем, состав которых задается, в частности, рейтингом ЦОДа по классификации Uptime Institute.
Название статьи у большинства читателей вызовет, вероятно, удивление. Действительно, что нового может сказать автор по этой теме? Однако, как показывает практика, в представлении большого количества заказчиков, ЦОД – это практически любое помещение, в котором устанавливается некоторое количество шкафов с активным оборудованием и организуется «малый джентльменский набор» – электропитание из ближайшего электрощита, источник (или несколько источников) бесперебойного питания мощностью 1,5–3 кВ•А, пара бытовых кондиционеров сплит-системы, новый замок на дверь и пожарная сигнализация. «Большой джентльменский набор» может дополнительно включать фальшпол, газовое пожаротушение и контроль доступа. Безусловно, это несколько карикатурное описание типичных требований некоторых заказчиков, однако правильно говорится: в каждой шутке есть только доля шутки.
В статье рассматривается состав инженерных систем «идеального» ЦОДа, соответствующего сводному рейтингу Tier IV – Gold по классификации Uptime Institute*. Дополнительно для каждой системы ориентировочно указан минимальный рейтинг ЦОДа, начиная с которого данная система считается необходимой для инфраструктуры. Требования наличия той или иной системы относятся исключительно к ЦОДам и не вступают в противоречие с российскими общестроительными нормами.
Архитектурно-планировочное решение ЦОДа
Чтобы лучше представлять себе назначение инженерных систем и их взаимосвязи, приведем архитектурно-планировочное решение ЦОДа по стандарту ANSI/TIA-942-2005 Telecommunications Infrastructure Standard for Data Centers (рис. 1).
Область 0 – вся территория ЦОДа (кампус). Подразумевает ограждение по периметру, наличие охранной зоны и средств охраны периметра, проходных, ворот для проезда транспорта с контрольно-пропускными пунктами. В области 0 обычно также располагаются площадки-анклавы области 2, на которых размещается технологическое оборудование ЦОДа (чиллеры, машинные генераторы, контуры заземления и т.д.).
Область 1 – здание (строение) или группа зданий, специально спроектированных и построенных для размещения ЦОДа.
Область 2 – собственно дата-центр. Между его областями существуют связи (физические и логические), отображенные на рис. 1.
С некоторой долей погрешности можно сказать, что уровень Tier I определяет минимальные требования к области 11 (серверные, машинные залы) и не рассматривает другие области. Требования уровня Tier II относятся к области 2 со всеми ее составляющими (серверные + технологические системы). Требования уровня Tier III касаются области 1 (серверные + технологические системы + здание в целом). И наконец, требования уровня Tier IV относятся ко всей территории ЦОДа в целом (область 0).
С точки зрения инженерно-технологической инфраструктуры (ИТИС) современный ЦОД – это совокупность тесно взаимодействующих комплексов различных инженерных систем. В ИТИС «идеального» ЦОДа (рис. 2) входят следующие комплексы: систем безопасности (КСБ), систем противопожарной защиты (КСПЗ), систем сервиса (КСС), систем электрооборудования (КСЭ), инженерно-технических систем (КИТС), систем многофункциональных залов (КСМЗ), а также комплекс обеспечения, обслуживания и технической поддержки (КОТП).
Чрезвычайно важная для «идеального» ЦОДа задача – обеспечение физической безопасности, поэтому еще до начала рабочего проектирования дата-центра необходимо определить количество и назначение зон ответственности на территории ЦОДа и их взаимное расположение (общая площадь, анклавы), сформировать политики физической безопасности каждой зоны, включая анклавы.
Зарубежные нормативные документы, в частности, упомянутый в начале статьи стандарт Operational Sustainability, формулируют требования к охране и доступу как «контролируемый доступ» без подробной детализации. В российских нормативных документах эти требования сформулированы точнее и строже.
Согласно документу РД 78.36.003-2002/МВД России, территории с ограниченным доступом, области и помещения объектов группы А с контролируемым входом (к которым относится ЦОД), подразделяются на три группы зон ответственности (три зоны ограничения доступа).
Первая зона (группа зон ответственности 1: области 0, 1, 3, 4 на рис. 1, исключая всю область 2) – контролируемая, предполагает свободное передвижение и пребывание персонала, представителей клиентов, посетителей после соответствующего контроля на входе. Выполняет функции охранного периметра, охватывающего все области ЦОДа.
Вторая зона (группа зон ответственности 2: область 2, исключая область 11) – усиленно контролируемая и охраняемая, предусматривает передвижение и пребывание определенного круга сотрудников и представителей клиентов после соответствующего контроля. Вторая зона – это площадь, на которой располагаются оборудование инженерно-технологической инфраструктуры ЦОДа (СГЭ, СНЭ, САГП, СПМ и др., см. рис. 2), пост управления и мониторинга ИТИС. К группе зон ответственности 2 относятся также внешние площадки (анклавы), на которых устанавливается оборудование ИТИС (контур технологического заземления, ДГУ, дополнительные топливные емкости, чиллеры, драйкулеры и т.д.).
Третья зона (группа зон ответственности 3: область 11) – усиленно контролируемая, охраняемая и защищаемая, предусматривает пребывание строго ограниченного круга лиц. Доступ других лиц в эти помещения возможен только в сопровождении специально допущенных работников. Третья зона – площадь, на которой располагается серверное и коммутационное оборудование ЦОДа, а также хранилища данных, в том числе сейфы с носителями резервных копий информации.
Группы зон ответственности 2 и 3 должны быть физически отделены друг от друга, располагаться в разных помещениях и иметь раздельные входы. Возможно расположение группы зон ответственности 3 на территории (внутри) группы зон ответственности 2 при обязательном физическом разделении этих зон пожаровзломостойкими стенами с входами (дверями), оснащенными СКУД.
Комплексы систем ЦОДа: функции и термины
Непрерывный рост требований к надежности и бесперебойности работы современного ЦОДа влечет за собой столь же непрерывное совершенствование существующих технологических инженерных систем и появление новых, еще недавно совершенно нетипичных для ЦОДов. Досмотровая техника, парковки, защитные оболочки, система телефонизации кампуса, спутниковые каналы связи, специально оборудованные конференц-залы, отопление, водопровод и канализация – вот некоторые совершенно нехарактерные для ЦОДа пятилетней давности системы, которые потребуются при строительстве современного дата-центра.
Ниже системы, входящие в состав ЦОДа, коротко описаны по комплексам (см. также рис. 2). В скобках указаны уровни надежности ЦОД (Tier), для которых данные системы являются необходимыми.
Б е з о п а с н о с т ь
Комплекс систем безопасности (КСБ) включает в себя следующие системы.
СОТС – система охранной и тревожной сигнализации, обеспечивает охрану территории ЦОДа, включая все зоны ответственности (Tier I–IV).
СКУД – система контроля и управления доступом, предназначена для контроля и санкционирования доступа людей в зоны ответственности 2 и 3 (Tier II–IV).
ДТ – досмотровая техника, служит для контроля наличия у людей несанкционированных предметов, досмотра транспорта (Tier IV).
СТН – система телевизионного наблюдения, предназначается для круглосуточного визуального контроля территории и помещений ЦОДа (всех зон ответственности) и технологических процессов (Tier III–IV).
СИБ – система информационной безопасности, обеспечивает максимально возможный уровень защиты конфиденциальной информации, хранящейся и перемещающейся в компьютерных сетях ЦОДа. Требования к ней формулируются согласно документам ФСТЭК России. Как правило, необходима c уровня Tier III.
Средства физической защиты (защитные оболочки, сейфы и хранилища) рассмотрены в «ИКС» №10’2010 (c. 84) и 11’2010 (с. 83).
СКП – система контроля за протечками, предназначена для обнаружения нештатного появления жидкости и автоматического управления клапанами подачи технологической воды (Tier II–IV).
СМШ – система мониторинга шкафов, отвечает за контроль температуры, влажности, скорости воздушного потока внутри шкафов с активным оборудованием (область 11), регистрацию нештатных ситуаций (пожар, открытие дверей и т.п.) (Tier II–IV).
СИС – интерком и селектор, обеспечивают проводную связь между постами и/или техническими помещениями, службами и диспетчерской на территории ЦОДа (Tier III–IV).
ЦДП – центральный диспетчерский пост. Программно-аппаратный комплекс, предназначенный для объединения в единое целое систем ИТИС ЦОДа с целью оптимизации управления всеми входящими системами (Tier II–IV).
П р о т и в о п о ж а р н а я з а щ и т а
В комплекс систем противопожарной защиты (КСПЗ) входят следующие компоненты.
САПС – система автоматической пожарной сигнализации, обеспечивает противопожарную охрану территории ЦОДа и материальных ценностей (Tier I–IV).
СГО – система громкого оповещения о пожаре и управления эвакуацией, отвечает за оповещение людей о пожаре, чрезвычайных происшествиях (Tier I–IV).
СВП – система водяного пожаротушения, предназначена для локального тушения пожаров и охлаждения строительных конструкций в области 1, за исключением областей 4, 6–9, 11 (Tier III–IV).
САГП – система автоматического газового пожаротушения, обеспечивает противопожарную защиту помещений областей 4, 6–9, 11 (Tier III–IV).
СДП – система дымоудаления и подпора воздуха, предотвращает распространение огня, обеспечивает вентиляцию помещений и удаление продуктов горения после ликвидации пожара (Tier III–IV).
СИЗОД – средства индивидуальной защиты органов дыхания: самоспасатели, изолирующие противогазы (Tier III–IV).
РО – ручные огнетушители (Tier I–IV).
С е р в и с
Комплекс систем сервиса (КСС) состоит из следующих систем.
СКС – структурированная кабельная система. Обеспечивает передачу информации по стандартным протоколам систем связи, а также передачу телекоммуникационных и информационных сигналов (Tier I–IV).
САСО – система активного сетевого оборудования. Организует обмен информацией между различными абонентами системы СКС, включая преобразование, шифрование, пакетирование, маршрутизацию, передачу цифровой, речевой и видеоинформации (Tier III–IV).
СК – система кабелепроводов (лотки и короба). Ее назначение – размещение, упорядочение, защита и скрытие кабелей, проводов и коммуникаций всех инженерных систем (Tier I–IV).
СФ – система фальшпола. Предназначена для равномерного распределения веса оборудования по площади помещений ЦОДа, размещения коммуникаций, подачи кондиционируемого воздуха к стойкам с оборудованием (Tier II–IV).
СТМ – система мебели технологических рабочих мест, оптимизирует использование пространства над рабочим местом, помогает правильно организовать рабочее место (Tier III–IV).
СР – система оперативной радиосвязи. Обеспечивает личный состав службы безопасности беспроводной связью на территории объекта между собой и с ЦДП (Tier III–IV).
СЧ – система электрочасофикации, отображает единое и точное время и информацию в пределах ЦОДа. Синхронизируется от сигналов точного времени по радиоканалу DCF 77, по сигналу GPS со спутника (Tier III–IV).
СТ – система телефонной связи, обеспечивает территорию ЦОДа адресной голосовой (телефонной) связью (Tier IV).
ССТ – система спутникового телевидения. Нужна исключительно для достижения суммарного рейтинга ЦОДа Tier IV – Gold и не влияет на надежность функционирования ЦОДа.
Э л е к т р о о б о р у д о в а н и е
В комплекс систем электрооборудования (КСЭ) входят следующие системы.
СЗЗ – система защитного заземления здания (контур заземления); сопротивление растеканию тока не более 4 Ом (Tier I–IV).
СМЗ – система молниезащиты. Здание ЦОДа должно быть оборудовано устройствами молниезащиты II категории с зоной защиты от поражения «Б» (СО 153-34.21.122-2003) (Tier I–IV).
СРЗ – система рабочезащитного заземления. Отдельный второй контур телекоммуникационного заземления, с сопротивлением растеканию тока не более 1 Ом. Возможна организация третьего отдельного контура измерительного заземления (Tier II–IV).
СУП – система уравнивания потенциалов. Помещения ЦОДов (область 2 за исключением области 10) оборудуются устройством локального уравнивания потенциалов по Приложению В3 ГОСТ Р 50571.21-2000 (МЭК 60364-5-548-96) (Tier II–IV).
СВЭ – система выделенного электропитания. Служит для организации электропитания выделенных помещений и включает три составляющие: систему негарантированного электропитания (СНЭ), систему гарантированного электропитания (СГЭ) и систему резервного электропитания (СРЭ) (Tier II–IV).
СГЭ – система гарантированного электропитания (часть системы СВЭ). Обеспечивает электроэнергией потребителей, чувствительных к перебоям в электропитании (на базе ИБП и аккумуляторов). Время автономной работы – от нескольких минут до нескольких часов (Tier II–IV).
СРЭ – система резервного электропитания (часть системы СВЭ). Предназначена для автономного электропитания потребителей при продолжительных нарушениях в сетях общего назначения (на базе независимого машинного генератора электроэнергии). Время автономной работы ограничено только запасами топлива. Необходима с уровня Tier II; для уровней Tier III и IV является основной системой электропитания.
СОЭ – система аварийного отключения электропитания. Экстренно прекращает функционирование ЦОДа путем принудительного отключения электропитания (Tier II–IV).
СОО – система основного электрического освещения. Ее назначение – искусственное круглосуточное освещение помещений ЦОДа (Tier I–IV).
САО – система аварийного электрического освещения. Поддерживает искусственное освещение помещений ЦОДа в течение заданного времени при отказе всех систем электропитания – основного и резервного, в том числе ИБП (Tier I–IV).
В состав комплекса инженерно-технических систем (КИТС) входят следующие компоненты.
СПМ-5 – система прецизионного кондиционирования (микроклимата) в ЦОДе, предназначенная для создания и автоматического регулирования параметров воздуха в закрытых технологических помещениях при подаче кондиционированного воздуха под фальшпол (Tier II–IV).
СПМ-30 – система прецизионного кондиционирования (микроклимата), предназначенная для снятия теплопритоков 10–30 кВт от одного шкафа с активным оборудованием. Строится на базе герметичных водоохлаждаемых шкафов и холодильной машины (чиллера) (Tier II–IV).
СВК – система вентиляции и кондиционирования в помещениях ЦОДа с постоянными рабочими местами. Организует воздухообмен для заданного состояния воздушной среды в помещениях и на рабочих местах (Tier I–IV).
СПВ – система подготовки технологической воды, отвечает за подготовку обессоленной воды для парогенераторов, входящих в состав систем контроля климата и кондиционирования (Tier II–IV).
СД – система дренажа для отвода конденсата систем прецизионного кондиционирования, ликвидации последствий протечек (Tier II–IV).
СО – система отопления, обеспечивает заданную температуру воздуха в помещениях и на рабочих местах (Tier IV).
ВК – водопровод и канализация. Обеспечивают снабжение ЦОДа водой для технологических и собственных хозяйственно-бытовых нужд (Tier IV).
ЛП – технологические лифты и подъемники. Предназначены для подъема технологического оборудования ЦОДа и других грузов (Tier III–IV).
С и с т е м ы м н о г о ф у н к ц и о н а л ь н ы х з а л о в
КСМЗ – комплекс систем многофункциональных залов, предназначен исключительно для того, чтобы достичь суммарного рейтинга ЦОДа Tier IV – Gold. На надежность функционирования ЦОДа он не влияет.
О б с л у ж и в а н и е и т е х н и ч е с к а я п о д д е р ж к а
КОТП – комплекс обеспечения, обслуживания и технической поддержки. Включает персонал, обеспечивающий текущую эксплуатацию ЦОДа, охрану, рабочие места, оборудование и инструмент, склады, парковки (Tier III–IV).
В заключение отметим, что состав и практическое воплощение систем ЦОДа – это всегда некий компромисс между рамками нормативов, реальными условиями на объекте и возможностями инвестора. Взяв за основу приведенную на рис. 2 структуру и вычеркнув системы, которые не планируется устанавливать, инвестор может без посторонней помощи примерно оценить соответствие своих возможностей желаемому уровню надежности функционирования ЦОДа.
Представим себе, что спорный для России вопрос о целесообразности строительства ЦОДа, соответствующего сводному рейтингу Tier IV – Gold по классификации Uptime Institute, решен инвестором в пользу строительства. По мнению автора, такой проект в условиях России практически нереализуем. И дело не только в больших объемах инвестиций в инфраструктуру ЦОДа, что останавливает 99% инвесторов еще на этапе бюджетной оценки строительства. Непредсказуемыми остаются затраты, связанные с поиском и выделением подходящего участка под строительство, подведением к участку необходимых коммуникаций (электроэнергия, газ), получением необходимых разрешений и согласований. В нынешних российских реалиях такое строительство под силу только крупному государственному инвестору.
*Определение сводного рейтинга ЦОДа – см. стандарты Data Center Site Infrastructure Tier Standard: Topology, Uptime Institute, LLC, 2010 и Data Center Site Infrastructure. Tier Standard: Operational Sustainability, Uptime Institute, LLC, 2010.
Инфраструктура ЦОД на пальцах: оборудование, виртуализация, управление
Всё могут короли
Содержание:
Ingredients
Directions
Центр обработки данных
Если по-русски: центр обработки данных является большой серверной комнатой с десятками тысяч стоек, на которых хранятся и перерабатываются данные с очень большой скоростью. Но ЦОД — это не просто кучка серверных шкафов в машинном зале. Совокупность различных технологий, вроде перераспределения нагрузок, позволяет максимально эффективно использовать каждый мегабайт оперативной памяти, а это, в свою, очередь позволяет достигать 100% аптайма и соблюдения самых требовательных SLA.
Требования к инфраструктуре достаточно жесткие, но это и является гарантом качества работы центра. Сюда входят такие параметры как: подключение к как минимум двум операторам связи, резервирование магистральных кабелей СКС, ИБП, ЦП маршрутизаторов, обязательная маркировка всех патч-панелей, розеток, кабелей, шкафов. Одно из главных преимуществ спецификации Tier 3 — возможность проведения ремонтных и аварийных работ (вплоть до замены компонентов) без остановки работы, благодаря тому, что все инженерные системы в нём зарезервированы.
Энергоэффективность
1,67. Нужно понимать, что основной потребитель электроэнергии в ЦОД — это не оборудование. Почти половину (
45%) забирает система охлаждения. Еще около 20% теряется при распределении электроэнергии.
Структура
Фундамент центра обработки данных — его оборудование. Именно оно находится на нижней ступени во всей структуре дата-центра. На уровень выше — операционные системы, JVM (Java virtual machine) и виртуализация. В средний уровень можно записать системы управления контейнерами и планирования ресурсов. Еще на уровень выше — БД, хранилище и вычислительная платформа. На самом верхнем расположились информационные системы, микро-сервисы, приложения и т.д
Оборудование
Если мы не рассматриваем размещение собственного оборудования в ЦОД, то рассмотрим аренду виртуальных вычислительных мощностей. В зависимости от выбора провайдера услуг сетап может варьироваться по следующим параметрам:
Дисковые накопители
Для организации дискового пространства могут использоваться массивы SATA/SSD/SAS. Производительность накопителей оценивается в IOPS (input/output operations per second — количество операций ввода-вывода в секунду) и может достигать до 300 000 на одну СХД (систему хранения данных). Если SATA и SSD используются и в домашних системах, то на SAS нужно остановиться поподробнее.
[adace-ad SAS (Serial Attached SCSI) — последовательный интерфейс для подключения дисковых накопителей, разрабатывался как замена морально устаревшему SCSI. Форматы SAS и SATA — совместимы, более того, зачастую они отличаются только прошивкой. Но именно она и является главным плюсом SAS, потому что позволяет использовать весь его функционал в enterprise-среде: end-to-end data protection, multipath, скорость до 15 000 об/мин
Одним из ведущих вендоров, производящим СХД с SAS-дисками является всем известный Hewlett Packard, который выпускает собственные системы хранения данных под брендом HPE (Hewlett Packard Enterprise). Двухюнитовая СХД начального уровня HPE MSA 2060 содержит в себе массив из 240 накопителей SAS малого форма-фактора, а суммарная ёмкость достигает 921 Тбайт
HPE MSA 2060 может работать как на Windows Server, так и на Linux (дистрибутивы Red Hat и SuSE). Имеет собственную тулзу для управления и администрирования — Storage Management Utility (SMU)
Из интересных фишек СХД можно отметить возможность расширить кэш (24гб на систему) с помощью SSD дисками, объединить несколько RAID-массивов в единый виртуальный пул, что позволяет обойти ограничение по производительности (16 RAID-дисков), а так же систему буста работы приложений, путём перераспределения частоиспользуемых данных на наиболее быстрые диски.
Процессоры
В конфигурации покруче уже встречаются Xeon Gold 6254 c L3-кэшем в 25 мбайт
Источники бесперебойного питания
В отличии от домашних настольных UPS, ИБП в ЦОД должны не только обеспечивать бесперебойное электропитание активного серверного и коммутационного оборудования, но, если потребуется, и системы кондиционирования, а так же фильтровать помехи магистральной сети и стабилизировать выходное напряжение. Для этого используют целые модульные системы различных форматов — 4800 kVA (киловольт-ампер), 12000 kVA, например MODULYS XL и так далее.
Системы пожаротушения
В каждой стойке обязательно присутствует система автоматического пожаротушения для раннего обнаружения возгорания и ликвидации очагов пожаров классов А, В, С и контроль электрооборудования под напряжением. Самое популярное стоечное решение — от вендора R-Line.
Виртуальный ЦОД (VDC)
Выгода использования VDC заключается в том, что вы получаете ресурсы ЦОД без необходимости установки своего оборудования, траты на обслуживание инфраструктуры и избавляетесь от головной боли вечного пропадания канала связи. Помимо этого:
Платформы виртуализации
Панель управления
С помощью платформы управления vCloud Director можно создавать и собственные виртуальные ЦОДы, настраивать политики, роли для доступа, конфигурировать виртуальные ресурсы и осуществлять их мониторинг, развёртывать гибкие контейнеры (например, через Kubernetes, как SRE-инженеры) и автоматизировать сложные рабочие процессы
Оркестратор
Нужен ли моему бизнесу ЦОД?
Чтобы использовать ресурсы ЦОД не обязательно арендовать в нем собственные стойко-места. В 2021 году даже стартап может воспользоваться услугами виртуального ЦОД (т.е. по сути, той же аренды) для своих нужд, особенно если приложение или сервис критично к скорости обработки данных и их количество растёт по экспоненте. Для каких задач его можно использовать?
Кто уже использует ЦОД?
Среди крупных компаний, которые используют центры обработки данных такие гиганты, как, недавно запустившийся в России, Spotify, а также Netflix, Ubisoft, Canon. Сервис IMDB хранит в нём свою базу данных, а немецкий концерн Siemens использует инфраструктуру для своей ультра технологичной системы здравоохранения Siemens Healthineers