Иммерсионная жидкость что это
Будь в курсе последних новостей! Подписывайся на рассылку COINLIFE
Водные процедуры: плюсы и минусы иммерсионного охлаждения майнеров
Крупнейший производитель оборудования для майнинга криптовалют Bitmain недавно выпустил новинку Antminer S9 Hydro: первый биткоин-майнер, который имеет встроенную систему жидкостного охлаждения. Эта особенность делает майнер менее шумным, более экономичным в части расходования электроэнергии и долговечным.
Иммерсионная (жидкостная) система охлаждения майнинг-устройств действительно имеет ряд преимуществ перед традиционной воздушной системой, и давно используется криптодобытчиками. Редакция Coinlife разобралась, какие плюсы и минусы есть у водоохлаждения.
Что это такое?
Иммерсионное охлаждение – это снижение температуры компьютерного оборудования путем его погружения в диэлектрическую теплопроводную жидкость. В качестве жидкости в основном используется непроводящее неемкостное минеральное масло, так как оно не выводит из строя электронику.
Народные умельцы заливают жидкость в аквариум и опускают в нее майнер с включенными вентиляторами. Вместо воздуха он прогоняет масло, которое нагревается и затем испаряется, вентиляторы эффективно перемешивают жидкость и поддерживают низкий уровень температуры. В дата-центрах используются гибридные закрытые системы охлаждения, состоящие из насосов, внешних радиаторов и иммерсионной жидкости. В основном применяют диэлектрическую жидкость с низкой температурой кипения – она испаряется, конденсируется на стенках и затем стекает в специальный бак. Благодаря замкнутому циклу работы удается сократить расходы на дорогостоящую жидкость.
Водоохлаждение ASIC-майнера в домашних условиях. Фото: BitCluster
Достоинства
Фирмы-производители иммерсионных систем охлаждения активно расхваливают свою продукцию, обещая небывалую выгоду. Но давайте рассмотрим их объективные преимущества:
Бак с иммерсионной жидкостью открывается только сверху, поэтому установить оборудование на стеллажах не получится.
Недостатки
У вас может возникнуть резонный вопрос: если иммерсионная система охлаждения настолько эффективна, то почему большинство майнеров пользуются вентиляторами? Дело в том, что у жидкостного охлаждения есть свои недостатки.
Когда стоит использовать иммерсионное охлаждение?
Одной из первых компаний, которая начала разрабатывать системы иммерсионного охлаждения видеокарт для майнинга криптовалют, стала Green Revolution Cooling. Ведущий эксперт Брэндон Мур уверен в том, что развитию жидкостных систем охлаждения будут способствовать два главных фактора: высокая стоимость электричества и дорогая недвижимость.
Жидкостное охлаждение подходит для крупных майнинговых центров, которые хотят сократить затраты на электроэнергию и площадь используемого помещения. Это станет особенно важно, если власти введут ограничение на объем потребления энергии для майнеров криптовалют – у них не останется другого варианта, кроме как оптимизировать затраты.
Обычному пользователю, у которого стоит дома ASIC-майнер или ферма из 6-8 видеокарт, жидкостное охлаждение позволит сократить расходы примерно на 65% (без учета покупки бака и самой жидкости). Если у вас есть желание поэкспериментировать, и вы не боитесь намочить руки, то определенно стоит попробовать эту систему охлаждения.
Сравнение жидкостей Novec и Coolant — почему мы остановились на собственной разработке
В последние годы появились десятки составов, которые позиционируются как жидкости для иммерсионного охлаждения. В основном речь идёт о разновидностях минеральных масел, ПАОМ, кремнийорганических маслах (силоксанах ПМС, ПДМС, ПЭС) или фторкетонах. Почему для нашей установки мы решили провести серию экспериментов и выбрать оптимальный и недорогой состав?
Как появился Novec
Первоначально для охлаждения трансформаторов использовали минеральное масло. В 50-ые гг. компания 3M впервые изготовила фторсодержащий хладагент для военной авионики. Его назвали Fluorinert. В 1996 году появился новый тип жидкости под маркой Novec, в которой не было озоноразрушающих веществ.
Жидкость первого поколения относилась к перфторуглеродам. Её свойства:
без цвета и запаха;
отличные диэлектрические свойства;
совместимость со многими материалами;
высокие точки кипения.
Главным недостатком Fluorinert было то, что испарения жидкости долго оставались в атмосфере и косвенно способствовали глобальному потеплению. Поэтому их использовали в тех установках, где можно было обеспечить герметичность и минимизацию выбросов жидкости в окружающую среду. Особое внимание уделялось тому, чтобы жидкость не попадала на кожу и в глаза. В результате многолетней эксплуатации в суперкомпьютерах Cray-2 выяснилось, что она расщеплялась и выделяла очень токсичный перфторизобутан. В ЦОДах при длительной эксплуатации появлялись проблемы с блоками питания, проводами, конденсаторами и пр.
Большую популярность жидкости Novec имеют на Западе. Во-первых, бренд хорошо известен и зарекомендовал себя как безопасное средство тушения при возгораниях электроники. Во-вторых, 3M позиционировал жидкость как доработанную для майнеров. В-третьих, майнеры США и Западной Европы готовы вкладываться в майнинг с долгосрочным «прицелом». И, что немаловажно, они готовы инвестировать солидные средства в систему охлаждения. На просторах СНГ иммерсионное охлаждение больше связано с экспериментами и реализацией штучных проектов, причём жидкость якобы должна быть дешёвой и столь же безопасной как Novec. Но так не бывает.
С применением Novec появилась возможность создавать двухфазные системы иммерсионного охлаждения (2 PIC) с полуоткрытыми контейнерами.
Система двухфазного охлаждения на базе Novec
В двухфазной системе охлаждения используют ёмкость, в которой размещены платы или другое оборудование. Диэлектрической жидкостью выступает, например, Novec 7100 с температурой кипения 61 градус Цельсия. В процессе работы оборудование выделяет тепло, жидкость нагревается, закипает и начинает испаряться. При этом Novec забирает тепло от наиболее горячих элементов и переносит к конденсаторам, в которых циркулирует охлаждающая жидкость (вода). Она является промежуточным теплоносителем, при помощи которого тепло, выделяемое при конденсации хладагента, отводится в окружающую среду.
Для испарения 1 г Novec необходимо 120 Дж энергии. Видеокарта мощностью 200 Вт за 1 секунду испаряет около 2 г жидкости. За минуту произойдёт испарение 120 г. Таким образом, эффективность теплоотвода при кипении очень высока и позволяет отказаться от радиаторных пластин. Для двухфазного охлаждения обычно применяют Novec 7000, 7100 и 7200.
При испарении происходит переход Novec из жидкого состояния в газообразное. Поэтому процесс называется двухфазным. Если ёмкость оставить открытой, жидкость будет испаряться и её постоянно потребуется доливать. В закрытой ёмкости пар поднимается к крышке, где устанавливают конденсатор (несколько труб или змеевик ) с охлаждающей жидкостью (можно даже с холодной водой), то есть тот же теплообменник. Газ конденсируется, появляются капли и струями стекают обратно в ёмкость. При этом не нужны насосы и постоянный долив жидкости. Так формируется один закрытый рабочий контур.
Разумеется, жидкость в конденсаторе тоже нагревается. И мощность нагрева прямо пропорциональна выделяемой видеокартами мощности, необходимой для кипения жидкости. Поэтому постоянно требуется охлаждение жидкости. Для этого формируют второй закрытый контур. Вода, которая бежит по трубам, попадает в воздушный теплообменник с вентилятором, вынесенными на улицу. Он отводит тепло и вода вновь пригодна для охлаждения.
Для двухфазной системы намеренно используют жидкость-диэлектрик с низкой точкой кипения. Это сделано для того, чтобы точка кипения жидкости не превышала рабочий температурный режим элементов, а теплообмен происходил интенсивнее. При этом на видеокарты, например, часто устанавливают медные пластины. С них снимают теплопроводящие прокладки и удаляют термопасту. Затем устанавливают медную пластину по толщине зазора. Её подбирают по примерной толщине удаленной термопасты или прокладки. Теплопроводность меди, напомним, одна из самых высоких среди других элементов. То есть доработка оборудования перед погружением происходит и при охлаждении в двухфазке.
Преимущества двухфазной системы охлаждения на базе Novec:
безопасная для электроники и негорючая жидкость (используется для тушения пожаров);
экономия на системах охлаждения погружённого оборудования;
Что такое иммерсионная жидкость («сухая вода») и где ее применяют?
В данном контексте иммерсионным охлаждением называют процесс отвода тепла от работающего оборудования путем его погружения в контейнер с иммерсионной жидкостью
Иммерсионная жидкость – это техническая жидкость, имеющая определенную формулу (у многих производителей они запатентованы), имеющая такие уникальные свойства как:
Негорючесть, низкую токсичность, инертность, высочайшие диэлектрические свойства.
Таким образом, данная жидкость не вступает в химическую реакцию практически ни с чем и является абсолютным диэлектриком, что позволяет использовать ее в контакте с любым электронным оборудованием без последствий для него.
ВАЖНО! Применение данной жидкости абсолютно безопасно для любого оборудования, а также для людей работающих с ней.
Применение данных жидкостей в промышленных масштабах началось много лет назад и по сей день имеет очень широкий спектр. Например, для охлаждения стоек оборудования в дата-центрах (ЦОД), в системах пожаротушения опасных и ценных объектов (архивы, дата-центры и т.д.), где последствия пожаров наносят часто гораздо больше вреда, чем сам пожар.
Традиционно при строительстве нового дата-центра около 35% капитальных затрат расходуется на охлаждающее оборудование, а впоследствии на него приходится еще 50% эксплуатационных расходов. Количество данных, которые необходимо хранить растет в геометрической прогрессии, стимулируют спрос на более и более крупные центры обработки данных (ЦОД), наряду со значительными инвестициями, понятно, что необходимо искать все более экономичные и эффективные технологии охлаждения.
Многочисленные исследования доказывают, что процесс жидкостного охлаждения имеет очень высокий коэффициент эффективности использования энергии (Power Usage Effectiveness; PUE) это позволяет добиться феноменальных показателей с точки зрения эффективности и экономичности данной технологии.
Принцип работы иммерсионного жидкостного охлаждения для майнинг ферм
Принцип достаточно простой для понимания. Поскольку охлаждающая жидкость абсолютно инертна, нетоксична и является диэлектриком, мы без каких-либо опасений погружаем работающую ферму, будь то ASIC (асик) Antminer S9 или блок из видеокарт в контейнер жидкостью. Оборудование работает и выделяет тепло, которое нагревает жидкость. Теплоемкость жидкости в 4000 раз выше теплоемкости воздуха, что позволяет отводить тепло гораздо меньшим объемом теплоносителя.
В данном случае основная задача сводится к тому, чтобы качественно отводить тепло от самой жидкости и поддерживать температуру такой, чтобы температура на чипах майнеров не превышала допустимую и позволяла работать на максимальной производительности без перебоев.
Рис. 1 – Пример работы электроники в охлаждающей жидкости
Эксперимент с жидкостным охлаждением майнинг фермы
Проводя первые эксперименты в нашей лаборатории, мы нервно наблюдали, как компьютерная система под напряжением, включенная и мигающая, медленно погружалась в чистую, водянистую жидкость. Каждый ребенок с детства знает, что жидкость и электричество несовместимые вещи, поэтому было совершенно невообразимо наблюдать за безупречной работой компьютера, полностью погруженного в то, что казалось ничем иным, как водой.
Во всем мире существует достаточно много производителей жидкостей, предназначенных для многих целей работы с электронной техникой, которые позволяют в том числе и охлаждать ее.
Собственно сам эксперимент с майнинг фермой:
Мы провели ряд испытаний с применением нескольких видов жидкостей. Основной задачей при подборе жидкости было скорее найти состав с наиболее хорошими теплофизическими свойствами, что соответственно повышает эффективность теплообмена.
Эксперимент проводился на стендовом образце с фермой из 6 видеокарт Nvidia Geforce GTX 1070 с суммарной мощностью около 1,2 кВт. Охлаждение жидкости было реализовано с помощью обыкновенной системы холодного водоснабжения.
Оборудование было погружено в аквариум и полностью залито жидкостью. Для большей равномерности охлаждения и температуры самой жидкости была обеспечена циркуляция, с помощью циркуляционного насоса. Испытания проводились на протяжении нескольких дней. Были исследованы все возможные режимы работы.
Рис. 2 – Пример работы видеокарты Nvidia Geforce в охлаждающей жидкости
Результаты подтвердили все наши ожидания и расчеты:
Преимущества применения жидкостного иммерсионного охлаждения для майнинга
На основании ряда фактов:
Мы нашли несколько существенных преимуществ данного способа охлаждения применительно к оборудованию для майнинга:
Сравнение жидкостного и воздушного охлаждения
В целом конечно воздушное охлаждение вполне хорошо выполняет свою функцию, и требует не менее серьезных и качественных расчетов. С его помощью можно обеспечить также абсолютно бесперебойную и надежную работу оборудования круглый год, хотя как известно летом охлаждение майнинг ферм осуществляется более трудным путем, нежели в зимний период года.
Из недостатков иммерсионного охлаждения, можно отметить:
Тем не менее, при грамотном проектировании, стоимость данной системы будет сопоставима со стоимостью системы воздушного охлаждения, а если учесть еще все преимущества, о которых мы писали выше, то окупаемость данного решения не заставит себя ждать.
Как мы выяснили, иммерсионное охлаждение более энергоэффективно и является передовой технологией для такого рода задач.
Способы использования тепла от ферм
Как известно, большая часть потребляемой энергии в процессе работы оборудования переходит в тепловую энергии. При больших мощностях майнинг ферм разумеется сразу появляется желание как-то использовать тепло, которое они производят. Мы приведем примеры нескольких способов, которые можно применить как в бытовом, так и в промышленном масштабе. Каждый интересующийся возможно найдет для себя какую-то идею.
Разумеется все способы утилизации тепла необходимо индивидуально рассчитывать и продумывать саму схему работы. Трудно найти какое-то универсальное решение. Мы в наших проектах, как правило подбираем и просчитываем индивидуальную схему отвода тепла от майнинг фермы и его полезное использование на проектах, где есть такая задача.
Для решения подобных задач, применяются промышленные установки жидкостного охлаждения. Ознакомиться с подбробным описанием и приницпом работы данных систем вы можете на странице «Установки иммерсионного охлаждения майнинг ферм».
В заключение хотелось бы отметить, что жидкостное охлаждение это «мэйнстрим» в сфере IT технологий и энергоэффективности.
Иммерсионная жидкость что это
При сборке и эксплуатации системы иммерсионного охлаждения всегда сложно сделать выбор. Мы постараемся дать максимум информации для вас.
В данной статье наша задача помочь вам выбрать иммерсионную жидкость для ваших устройств с полным погружением электроники: серверов, компьютеров, ASIC-майнеров, GPU-ферм и т.п.
Во-первых стоит отметить, что использовать в качестве иммерсионного теплоносителя можно много различных жидкостей. Но для длительного использования подходят буквально 2-3 вида. И не стоит ставить диэлектрические свойства на первое место т.к. напряжение в иммерсионной ванне редко может быть выше 400 вольт, но при этом неисправный блок питания может произвести электрическую дугу.
Действительно важны свойства:
На ранке предлагают в качестве иммерсионной жидкости для асиков, майнинг ферм, и другой электроники: Blumead (Блюмид) от Beeminer, 2MC Oil, BitCool, Coolant от Bixbit, Uminer IM 1801, ПАОМ, ПАОМ-2, HVI, STE OIL Crystal, трансформаторное масло.
МИФЫ и ФАКТЫ
«Не горючесть жидкости» – это миф! Температура воспламенения выше 400 градусов и для воспламенения необходимо нагреть весь объем жидкости. Ни одну жидкость, не возможно нагреть электроникой выше 100 градусов Цельсия, т.к. уже на 80-90 градусах большинство устройств перестанет работать и выключиться или же получит необратимые разрушения и выключиться из-за поломки.
Много компаний и людей которые хотят подзаработать на модных тенденциях, продают под видом иммерсионной жидкости и/или масла, которые не имеют нужной степени очистки, вязкости, безопасности для здоровья и техники. Стоимость таких жидкостей варьируется 50-70р за литр. Пока многие не чистые на руку предприниматели стремятся конкурируя только ценой (никак не качеством)
ПОДРОБНЕЕ О ИММЕРСИОННЫХ ЖИДКОСТЯХ
Далеко не все жидкости безопасны
Не важно как масла маркированы и под каким названием продаются. По сути мы имеем всего несколько видов: синтетические масла, белые минеральные масла, трансформаторное масло полиметилсилоксан он же блюмид (bluemead). Если говорить о маслах то практически любое масло это диэлектрик в том числе растительное. Но есть масса иных параметров которые совсем не подходят для применения в иммерсионном охлаждении.
ВЫБОР ТЕПЛОНОСИТЕЛЯ ДЛЯ ВАШЕЙ СИСТЕМЫ ИММЕРСИОННОГО ОХЛАЖДЕНИЯ ОДНО ИЗ САМЫХ ВАЖНЫХ РЕШЕНИЙ. ЛУЧШЕ ОПИРАТЬСЯ НА ОПЫТ ДРУГИХ. ИНАЧЕ ВСЕ МОЖЕТ ЗАКОНЧИТСЯ ПЕЧАЛЬНО.
Синтетические масла ПАОМ и HVI
По сути это базовые масла для изготовления различных смазочных материалов, моторных гидравлических и иных масел. Продаются в России под марками 2MC Oil, Pro-miner, Suvoil, samminer, возможно что upminer или uminer IM1801 тоже продает его же. Цена жидкости отличается в зависимости от аппетита продавца. Реальная стоимость около 50-100р за литр.
Главная проблема этих жидкостей в том что нет достоверного опыта длительного использования. Нет понимания как он относятся к электронике, платам, проводам, герметикам. И на практике только продавцы этих жидкостей дают положительные отзывы. Так же есть доказанная проблема в теплофизике. Например при температуре жидкости в верхней точке около 60 градусов, температура плат antminer S9 может достигать 80, а чипы могут перешагнуть 100 градусов. И это перечеркивает любую возможность использования системы, например в отоплении. Использование такой жидкости равносильно попытке обмануть физику.
Но тем не менее продавцы радуются хомячкам ищущим подешевле, а покупатели своей “экономности”.
Bluemead он же ПМС-50
Компания Beeminer, получила сертификат на жидкость и четко держит нишу дорогих иммерсионных жидкостей. Применение её в охлаждении дорогой электроники оправданно. Но применение в майнинге не оправданно дорого. Хорошие свойства но и высокая цена около 500р за литр.
Объективно жидкость Bluemead просто окрашенный в синий цвет полиметилсилоксан или же ПМС-50.
Трансформаторное масло
Но зато дешево можно купить и по 50р/л.
Вредно для человека, можно получить аллергию, отравление и прочие проблемы со здоровьем.
Белое минеральное масло
Белые минеральные масла популярны в иммерсионном охлаждении. Минеральные масла нефтяной дистиллят. Не любое белое минеральное масло подойдет для иммерсионного охлаждения. Главное степень его очистки и вязкость, которую определить визуально невозможно. Визуально все масла прозрачные как вода. Многие называют вазелиновыми маслами. Хотя масла и близки по составу, но не во всех странах есть оборудование для получения высоко очищенных и низко вязких фракций. Кроме того, вязкость масел сильно отличается, а от вязкости очень зависит то какой необходим насос и диаметр труб. Минеральные масла применяются в косметологии, пищевой промышленности, строительстве и машиностроении.
Практически все минеральные масла безопасны для здоровья, не гигроскопичны, не токсичны и не испаряются. Некоторые из них даже безопасны при проглатывании. Эти масла распространяют серьезные компании как жидкость для иммерсионного охлаждения, например Coolant Bixbit, Ste oil crystal 70t.
Выбираем то, что будет работать долго и не погубит оборудование и Вас, приобретайте проверенные жидкости. Или как известно в попытках экономить попадают дважды, а то и трижды.
Для иммерсионного охлаждения допускаются только сертифицированное белое минеральное масло или полиметилсилоксан. И даже при покупке одного из этих вариантов вы не застрахованы от покупки подделки!
Иммерсионное охлаждение высокой мощности
Современные электронные компоненты с каждым годом работают все быстрее. Растут скорости, растет потребление и тепловыделение. Современные тенденции иммерсионного охлаждения процессоров и видеокарт все больше входят в нашу жизнь.
На рынке присутствуют множество предложений систем иммерсионного охлаждения, однако при первом знакомстве их принципиальные различия не так легко определить. Мы провели сравнение технологий опытным путем и выявили их недостатки и преимущества.
Перегрев оборудования как бич современной электроники
Каждый знает, что современная электроника работает от электрической силы. В таком устройстве есть либо батарейка, либо его нужно включать в розетку. И всех их объединяет ещё одна общая черта — они нагреваются. Например, современные телефоны активно выделяют тепло при выполнении ресурсоёмких задач: играх, записи видео высокого качества и т.д., а геймеры знают, что для бесперебойной работы их мощных компьютеров нужны большие и производительные кулеры.
Электрический ток от источника питания проходит через микросхемы, состоящие в основном из полупроводников сложной структуры. Полупроводник – это некий материал, который частично проводит электрический ток, а частично нет. Его проводимость зависит от напряжения, температуры и других условий.
Если взять несколько разных полупроводников и расположить их в три слоя, можно добиться неожиданного результата. Если подать напряжение на 1-ый и 3-ий слой, ток через такой “бутерброд” не протекает. А если же пустить совсем небольшой ток по 2-му слою, то между 1-ым и 3-им слоем ток начинает протекать почти беспрепятственно.
Прибор, действующий по указанному принципу, называется транзистором. Сейчас его структура, разумеется, является более сложной, но правило осталось тем же — управление протеканием тока за счёт управляющего затвора. Этот эффект можно сравнить с водопроводным краном.
Особое внимание в работе транзистора уделяют процессу перехода из закрытого состояния (ток не течёт) в открытое (ток течёт беспрепятственно). Здравый смысл подсказывает, что переход из одного состояния в другое не может быть моментальным, и занимает хоть и очень короткий, но всё же не нулевой отрезок времени. Именно в момент переключения между этими состояниями ток проходит плохо, что и вызывает нагрев транзистора.
Современные процессоры работают на частотах до 4 ГГц, это означает, что транзисторы в процессоре совершают 4 000 000 000 переключений в секунду! И каждое такое переключение вызывает нагрев прибора.
Именно по этой причине при разгоне процессора (оверклокинге) процесс нагрева проявляется особенно сильно.
Для отвода тепла к поверхности процессора применяют радиатор с вентилятором. Вентилятор продувает рёбра радиатора холодным воздухом и отводит тепло, выделяемое процессором. Такой подход наиболее прост в использовании, поэтому он и получил массовое распространение.
Развитие электроники привело к тому, что с каждым годом скорость процессоров и количество транзисторов стремительно увеличивались, а размер процессора неизменно оставался на прежнем уровне. Сравните процессор Intel 486 со скоростью 33 МГц и современный Intel I7 с скоростью 3,8 ГГц. Размер — тот же, скорость — намного выше, а, значит, выше электропотребление и тепловыделение.
Необходимо отметить тот факт, что для корректной работы транзистора его температура должна оставаться низкой, иначе он начинает проводить электрический ток даже тогда, когда от него это не требуется. Получается, что чем быстрее процессор, тем больше он нагревается, и тем выше шанс того, что транзисторы внутри него будут работать некорректно. Такой эффект наблюдается, например, при оверклокинге и выражается в виде знаменитого “синего экрана смерти”. Когда процессор обнаруживает сбой в собственной работе, ОС останавливает его работу, а пользователю демонстрируется синий экран с информацией о текущем состоянии. Если продолжать эксплуатацию в таком режиме — высока вероятность того, что хотя бы один транзистор из нескольких миллиардов сломается. Это приведет к регулярным сбоям в работе и невозможности использовать такой процессор в дальнейшем.
Именно поэтому так важно использовать хорошие системы охлаждения и эксплуатировать электронику в заданном температурном режиме. Погоня за скоростью может привести сначала к случайным зависаниям, а потом — и к постоянным, с дальнейшей поломкой процессора.
Этот принцип распространяется, в первую очередь, на современные CPU — и особенно GPU. Из-за разницы в архитектуре двух этих вычислительных устройств нагрев GPU получается более сильным — просто потому, что при работе используются почти все транзисторы, имеющиеся внутри. Средняя мощность топового CPU составляет 90 Вт, а GPU — 200 Вт. Поэтому радиаторы современных видеокарт по размеру намного больше радиаторов центральных процессоров.
При охлаждении больших вычислительных мощностей возникают дополнительные сложности. Мощность серверного оборудования, расположенного на одном квадратном метре, крайне высока, и составляет десятки кВт. К тому же необходимо поддерживать постоянный микроклимат, без колебаний температуры и влажности. Рассмотрим внимательно определение слова «влажность»: концентрация молекул воды на единицу объема воздуха; при определенных обстоятельствах влага может конденсироваться и превращаться в воду, которая очень хорошо проводит электрический ток — что очень опасно для электроники. В серверных также имеется ещё один враг — пыль, которая забивает радиаторы и существенно снижает эффективность охлаждения.
Традиционные и альтернативные системы охлаждения
Даже несмотря на все указанные сложности, производители современного серверного оборудования по-прежнему продолжают использовать воздух для отвода тепла. Почти все современные серверные спроектированы под воздушное охлаждение, с разделением на холодные и горячие коридоры. Для обеспечения климатических условий в течение всего года устанавливают мощные климатические установки, в состав которых входит кондиционеры. Такие установки сами по себе потребляют много электроэнергии и, как это не парадоксально, сами же выделяют много тепла. И это решение, к сожалению, распространено массово.
Альтернативные технологии воздушного охлаждения — это фрикулинг. Воздух поступает извне и продувает серверную, свободно уходя наружу. При таком подходе снижаются затраты на оборудование, но данное решение не подходит для жарких стран. К тому же, воздух остаётся запыленным, а его влажность соответствует влажности на улице, что сопровождается колебаниями как влажности, так и температуры внутри объекта.
Иммерсионная система охлаждения
Сравнительно недавно получили популярность технологии иммерсионного охлаждения. Разработки на эту тему велись давно, так как сама технология уже не нова, однако сейчас её востребованность растёт необычайными темпами.
Слово «иммерсионное» означает «погружное». Это значит, что вся электроника, все платы сервера, процессор, видеокарты, блоки питания и жёсткие диски полностью погружены в жидкость. Естественно, что эта жидкость диэлектрик и не проводит ток — иначе работа электроники была бы невозможна. При дальнейшем анализе предлагаемых решений становится ясно, что иммерсионное охлаждение бывает разным, с фазовым переходом и без. Эти типы охлаждения отличаются не только своим физическим принципом, но и обладают существенными различиями при эксплуатации.
Так, минеральное масло использовалось для охлаждения силовых трансформаторов на подстанциях очень давно. Это вещество отличается отсутствием электрической проводимости и достаточной теплоёмкостью. Также можно отметить его низкую стоимость.
Жидкость Novec компании 3M для двухфазного охлаждения, в противовес минеральному маслу, используется относительно недавно. Она тоже не проводит электрический ток и обладает низкой теплоёмкостью. Удивительно, но эффект охлаждения с её помощью достигается за счёт кипения. Для более детального разбора этого явления нам понадобится вспомнить законы физики.
Нагрев жидкости происходит за счёт передачи энергии от более тёплого объекта к более холодному. Количество энергии, или количество тепла, измеряется в Джоулях. Один Джоуль — это эквивалент нагрева тела при помощи 1 Вт в течение одной секунды.
Таким образом, видеокарта выделяет 200 Вт * 1 с = 200 Дж тепла, если она проработала всего одну секунду. За минуту карта выделит 200 Вт * 60 с = 12 кДж тепла. Второй вопрос, который возникает при этом — это температура. На сколько изменится температура видеокарты при таком нагреве? Изменение температуры будет зависеть от теплоёмкости того объекта, который мы греем, и его массы. Вполне очевидно, что стакан воды в чайнике закипает намного быстрее, чем полный чайник.
Представим, что мы пытаемся нагреть одной видеокартой 1 литр воды. Вес 1 литра воды составляет примерно 1 кг. Теплоёмкость воды равна примерно 3800 Дж/кг/К. Это значит, что для нагрева воды весом в 1 кг на 1 градус Цельсия потребуется 3800 Дж энергии. Сопоставим это с мощностью нашей видеокарты и получим 12000 / 3800 = 3,15 градусов Цельсия. И это — всего за минуту! Простыми вычислениями можно установить, что через 10 минут вода нагреется на 31°С. Естественно, такой процесс не будет продолжаться вечно. Так что, если пренебречь теплопроводностью материалов, вода нагреется до 85–90 градусов, после чего видеокарта перегреется и зависнет.
Если доработать наш эксперимент и через 10 минут заменить нагретую воду на холодную, то процесс нагрева начнётся заново. В этом случае перегрева карты не наступит. Конечно же, менять воду каждые 10 минут неудобно, и приходит мысль протянуть трубы, по которым будет поступать холодная вода, а нагретая — будет вытекать. Такие жидкостные системы охлаждения существуют и продаются во многих компьютерных магазинах.
Давайте вернёмся к иммерсионному охлаждению минеральным маслом. Для этого в наших расчётах нужно изменить теплоёмкость и массу вещества. Вес 1 литра масла чуть меньше литра воды и составляет 0,85 кг. Теплоёмкость равна 1800 Дж/кг/К. Значит, для нагрева литра масла нужно 0,85 кг * 1С * 1800 Дж/кг/К = 1,5 кДж энергии. Значит, видеокарта за 1 минуту нагревает масло на 12000 / 1500 = 8 °С. Это намного больше 3,15 °С. Однако, у данного метода имеется большое преимущество — ему не нужны трубы для подвода и отвода жидкости к каждой видеокарте. Можно просто положить несколько видеокарт в одну ванну и залить их минеральным маслом.
Проблема перегрева самого масла в нашем случае также никуда не уходит. Как только масло прогреется до температуры видеокарты, оно больше не будет забирать тепло, и начнется перегрев оборудования. Придется опять каким-то образом подавать холодное масло и забирать горячее.
Можно было бы использовать простое решение: большая ёмкость холодного масла и ёмкость для хранения уже нагретого масла. Естественно, установка таких огромных цистерн экономически нецелесообразна, поэтому нам придётся пускать масло по замкнутому контуру и охлаждать его за пределами иммерсионной ванны. Для этого потребуется дополнительная установка радиатора снаружи, где его будет обдувать более холодный воздух. Обеспечение продувки уличным воздухом вполне закономерно: холодного (по сравнению с температурой масла) воздуха на улице много, а горячий воздух уносится ветром.
Но за сколько радиатор охладит 1 м3 воздуха на те же самые 8 градусов? Ведь, произведя расчеты, мы обнаружим, что для охлаждения одной видеокарты необходимо около 1 литра холодного (остуженного) масла в минуту; при этом масло будет успевать прогреваться на 8 градусов. То есть радиатор должен быть таким, чтобы охлаждать холодным воздухом масло как раз на 8 градусов.
Еще один важный элемент, который остался за пределами наших расчетов — это насос. Требования к нему предъявляются намного проще — обеспечить циркуляцию 1 литра масла в минуту. Отдельное внимание нужно уделить вязкости масла. Понятно, что из-за меньшей вязкости 1 литр воды пройдет по трубам и через радиатор намного проще, чем 1 литр масла. То есть нам потребуется либо мощный насос, либо большие трубы и радиатор.
Давайте теперь представим, что теперь у вас не одна, а хотя бы 100 видеокарт. Это уже 20 кВт тепла и 12 000 000 Дж энергии в минуту. Тогда при равных условиях насос должен прокачать уже 100 литров масла в минуту. Представьте, какие же сложности возникают, когда в системе 1000 видеокарт…
Перейдем к двухфазному иммерсионному охлаждению жидкостью Novec. Очень часто можно услышать, что она дорогая, очень летучая, легко испаряется и т.д. Конечно же это так, ведь принцип её действия совершенно иной. При нагреве этой жидкости выше 61°С происходит её испарение. Однако, при этом с ней не происходит ни нагрева, ни охлаждения. При прогревании всего объёма жидкости после запуска по достижении ею 61°С температура просто не повышается. Это кажется абсурдным, однако, это так. Процесс испарения (кипения) сам по себе является очень энергозатратным. Пожалуй, этот процесс можно сравнить с ощущениями человека, который купается летом и выходит из воды. В воде ему тепло, а на ветру становится холодно. Причина этого явления — испарение воды с поверхности тела.
Конденсация паров жидкости
Испарение — это переход вещества из жидкого состояния в газообразное. То есть получается, что Novec после закипания не исчезает без следа, а становится газом, который скапливается над поверхностью жидкости в виде тумана. Что, если этот туман охладить? Установим внутри несколько труб и пустим по ним холодную воду. Газ начнет на них конденсироваться и образовывать капли, которые объединятся в струи жидкости и стекут обратно. Таким образом, Novec никуда не будет уходить и останется внутри системы без каких-либо потерь.
Процесс конденсации является полной противоположностью испарению, здесь всё происходит в обратном порядке. Что касается энергии, то её необходимо забирать у газа ровно в том же объеме, что и при испарении. Естественно, холодные трубы будут нагреваться, а мощность нагрева будет ровно такая, которая выделялась видеокартами при кипении.
Для эффективной работы системы двухфазного иммерсионного охлаждения нам нужно постоянно охлаждать трубы. Самое простое и эффективное решение — пустить по ним воду, которая будет охлаждаться радиатором, расположенным на улице. По сравнению с минеральным маслом это выглядит намного проще. Ведь теплоёмкость воды в два раза больше, а объём циркуляции в минуту меньше. Плюс, вязкость воды существенно ниже, и, значит, насос без труда прокачает больший объем воды за единицу времени. Эти факторы позволят использовать более маленький радиатор на улице, более тонкие трубы и менее мощный насос — по сравнению с тем же самым минеральным маслом.
Преимущества иммерсионной системы охлаждения
Обе системы охлаждения — и минеральным маслом, и иммерсионной жидкостью Novec — обладают важным преимуществом по сравнению с воздушным охлаждением. Здесь отсутствует необходимость в дорогостоящих кондиционерах, потребляющих электроэнергию. Кроме того, отсутствует проблема пыли и влажности, как в системах фрикулинга.
Одним из важных параметров дата-центров является коэффициент PUE (эффективность использования электроэнергии), равный отношению всей мощности потребления дата-центра к мощности потребления вычислительных устройств. Для иммерсионных систем этот коэффициент приближается к 1, для воздушных систем с кондиционерами — около 1,5. Различия являются весьма существенными, особенно, если учесть разницу в стоимости оборудования.
Преимущества охлаждения жидкостью Novec перед минеральным маслом
На данном этапе обе системы кажутся одинаковыми с точки зрения характеристик. Но в описанных расчётах мы не учли, что жидкости в иммерсионной ванне не перемешиваются сами по себе. Представим, что мы погрузили видеокарту в минеральное масло и включили её. Слой масла непосредственно рядом с радиатором видеокарты прогреется, а те объёмы масла, которые находятся на некотором расстоянии — нет. В этом случае произойдет локальный перегрев в районе видеокарты. Тогда становится очевидной необходимость обеспечения эффективного перемешивания масла внутри ванны либо при помощи вентиляторов видеокарты, либо каким-то другим способом. Это усложняет конструкцию и требует специальных технических решений.
В двухфазных иммерсионных системах охлаждения с жидкостью Novec такая проблема отсутствует. Она постоянно кипит и сама себя перемешивает — особенно в тех местах, где происходит нагрев. Пузырьки отрываются от радиатора, и на их место поступает новая жидкость.
Вторым важным отличием масла от Novec является горючесть. Novec не горит никогда, её даже используют для тушения пожаров в библиотеках. Масло же легко горит по своей природе, и, плюс, его нельзя тушить водой. Это указано в технических характеристиках любого масла. Температура начала горения составляет порядка 200-400 градусов.
Мы провели серию экспериментов, чтобы удостовериться в описанных ниже выводах. При прогреве масла до 150 °С оно начало дымить, после чего появилось пламя, уверенно разгорающееся с каждой секундой. Дальше, за счёт горения, температура масла начала подниматься на 2 градуса в секунду, а языки пламени становились всё выше и выше. Пламя уже было сложно сбить, а температура, тем временем, продолжала расти.
Аналогичный эксперимент с Novec показал, что жидкость активно испарялась, но нагреть её выше 61 °С так и не удалось. Поджигая пары Novec, добиться их горения также не получилось. Как и написано в спецификации на Novec — материал не горит, не загорается.
Итак, можно ли использовать минеральное масло и его аналоги для эффективного охлаждения электроники — конечно же, да. Будет ли это рискованным с учетом крайне высокой стоимости оборудования? Безусловно. Пожар может возникнуть по многим причинам, а наличие минерального масла в большом количестве может сделать ликвидацию такого пожара крайне сложной, а последствия — катастрофическими.
Жидкость Novec: слабые места
Каковы самые серьёзные недостатки жидкости Novec? Высокая цена, повышенные требования к герметичности иммерсионной ванны, связанные с высокой летучестью жидкости Novec, и сложность конструкции последней. Кроме того, можно отметить необходимость тщательного контроля параметров процесса охлаждения для того, чтобы избежать выкипания жидкости. Плюс, использование жидкости Novec становится экономически оправданным только при использовании специализированных видеокарт с высокой плотностью установки.
При проектировании системы охлаждения необходимо учитывать около 20 различных характеристик. Полные расчёты в обязательном порядке должны учитывать термосопротивление радиаторов и термоинтерфейсов, а также свойства материала и поверхностей теплообменников и радиаторов используемого оборудования.
Прогресс не стоит на месте, уже очевидно, что будущее индустрии — за эффективным иммерсионным охлаждением, а не за воздушным. Остается лишь сделать выбор между сложным и безопасным решением, или более доступным, но рискованным.