В 3М предлагают использовать жидкостное охлаждение высоконагруженных вычислительных модулей. На семинаре, проведенном компанией, обсуждалось применение погружного иммерсионного охлаждения для оборудования, предназначенного для майнинга криптовалюты.

В связи с увеличением производительности серверов, растущей плотностью размещения оборудования в шкафах машинных залов в центрах обработки данных и значительным увеличением количества выделяемого ими тепла жидкостное охлаждение становится в настоящее время востребованной технологией.

Апологетом такого рода решений в нашей стране является, в частности, компания РСК, использующая в своих суперкомпьютерах технологию прямого жидкостного охлаждения, применение которой, по данным компании, позволяет круглый год работать в режиме естественного охлаждения и довести усредненный коэффициент энергоэффективности (Power Usage Effectiveness, PUE) системы охлаждения до показателя, не превышающего 1,06.

Такая система обеспечивает прецизионное отведение тепла с использованием полностью покрывающих поверхность вычислительных узлов пластин, охлаждаемых жидкостью. Ее изготовление осуществляется в заводских условиях вместе с вычислительными узлами компьютеров.

Прямое жидкостное охлаждение могло бы использоваться и в дата-центрах, построенных для майнинга критовалюты, но едва ли оно применимо в получающих все более широкое распространение майнинговых фермах.

Майнеры размещают свое оборудование если не в обычных квартирах, то и в отдельных помещениях, где им приходится решать весь комплекс вопросов охлаждения своих систем. Как следует из одного из сообщений, сдеданных на семинаре 3M одним из профессиональных майнеров, энергопотребление фермы, содержащей около двух сотен видеокарт, превышает 400 кВт.

Для многих майнеров вполне приемлемым решением могла бы стать технология погружного охлаждения, когда электронное оборудование размещается в емкости с иммерсионной жидкостью, считают в 3М.

Олег Юнязов, руководитель R&D-проектов 3М в России, для охлаждения майнингового оборудования рекомендовал использовать технологические жидкости семейства Novec, которые могут примяться для погружного охлаждения в однофазном и двухфазном режимах.

В первом случае и жидкость, используемая в качестве теплоносителя омывающего вычислительные модули, не меняет фазового состояния. Для ее перемещения и отвода тепла устанавливается насос, нужен также и теплообменник.

В двухфазном режиме перекачивать жидкость не требуется. Жидкость, в которой находится вычислительный модуль, кипит при нормальном атмосферном давлении, пар конденсируется на змеевиках с водным охлаждением и затем возвращается в емкость с оборудованием. При конденсации пар передает энергию, полученную от электронного оборудования, теплоносителю конденсатора.

Низкая температура кипения, для жидкости Novec 7100, к примеру, она составляет 61 градус Цельсия, обеспечивает работоспособность и стабильную температуру электронного оборудования, поясняют в 3M. Такая жидкость не горит, обладает высокими характеристиками теплоемкости и теплопередачи, эффективно отводит тепло, позволяет увеличить плотность размещения электронных компонентов и повысить производительность процессоров, подчеркивают представители компании(см. также «3M расширяет портфель предложений для ЦОДов», Журнал сетевых решений/LAN, №11, 2017).

В компании «Формос ТК», дистрибьюторе 3M, разработали установку погружного иммерсионного охлаждения, применение которой не требует внесения кардинальных изменений в майнинговое оборудование на основе видеокарт или специализированных интегральных микросхем (application-specific integrated circuit, ASIC), сообщил Александр Волокитин, старший менеджер электротехнического отдела компании.

Такая установка, по его утверждению, предоставляет возможность повысить до 20% производительность майнингового оборудования, существенно снизить затраты на охлаждение, может размещаться в помещениях различного назначения, мало шумит и не нагревает окружающую среду.

По имеющимся оценкам, стоимость подобной установки (без учета цены иммерсионной жидкости 3M), в которой можно разместить три майнинговых узла, приближается к 150 тыс. руб.

В 3M провели расчет затрат на охлаждение оборудования для майнинга, установленного в нежилом помещении площадью 10 кв. м, при использования воздушного и погружного двухфазного охлаждения с применением технологической жидкости Novec 7100. Согласно полученным данным, погружное охлаждение увеличивает капитальные расходы на 7%, однако снижает операционные затраты более чем на треть (в зимнее время) и позволяет увеличить на 30% производительность оборудование для майнинга на основе ASIC.

Технология погружного двухфазового охлаждения была впервые применена в 2012 году стартапом Allied Control (в настоящее время входит в компанию BitFury) в высокоплотной майнинговое ферме в Гонконге, где с использованием Novec 7100 удалось довести PUE до значения, 1,02.

По данным исследования Global Data Center Liquid Immersion Cooling Market Analysis & Forecast 2016 to 2020, суммарный объем мирового рынка иммерсионного охлаждения дата-центров увеличится с 109,5 млн в 2015 году до 959,6 млн долл. в 2020-м, что соответствует среднему ежегодному росту на 54%.

Компания Google намерена использовать высший уровень интеллекта нейронной сети DeepMind для поиска способов сокращения энергопотребления своих ЦОД, которые составляют 40% всего мирового Интернета.

«Это должно помочь повысить свою энергоэффективность и другим компаниям, работающим в нашем облакеe, – указывается в блоге Google. – Несмотря на то, что мы являемся лишь одним из многих операторов ЦОД в мире, по интенсивности использования возобновляемых источников энергии с нами мало кто может сравниться».

Конечной целью Google является перевод на возобновляемые источники энергии всех своих ЦОД. В настоящее время они покрывают 35% потребностей компании в электроэнергии.

Компания частично или полностью финансирует 22 проекта ветряных и солнечных электростанций в различных странах мира. Инвестиции в размере 1,5 млрд долл. делают ее крупнейшим корпоративным покупателем электроэнергии, получаемой из возобновляемых источников.

«В совокупности эти проекты рассчитаны на выработку 2,5 ГВт электроэнергии, что значительно превышает наши сегодняшние нужды, – указывается на сайте ЦОД Google. – Такого объема достаточно для удовлетворения потребностей примерно 500 тыс. домов».

На рисунке представлен типичный день тестирования с использованием алгоритма DeepMind для выдачи рекомендаций по повышению эффективности энергопотребления. На графике видны моменты начала и конца выдачи рекомендаций на основе машинного обучения

Британский разработчик технологий искусственного интеллекта DeepMind, которого Google приобрела в 2014 году, имеет в своем распоряжении технологии нейронных сетей, строящихся по образу центральной нервной системы человека и используемых для активного изучения предметных областей при решении сложных задач.

Масштабная инфраструктура ЦОД Google поддерживает интернет-сервисы Google Search, Gmail и YouTube. При этом серверы выделяют очень большое количество тепла, которое необходимо отводить для их нормального функционирования.

Охлаждение, как правило, осуществляется с помощью промышленного оборудования: насосов, охлаждающих установок и градирен. Два года назад компания начала применять для повышения эффективности работы ЦОД методы машинного обучения. В последние несколько месяцев исследователи из DeepMind поддерживали тесное взаимодействие с командой центров обработки данных Google, благодаря чему компании удалось существенно улучшить функционирование своих охлаждающих систем.

DeepMind использует исторические данные (о температуре, энергопотреблении, скорости работы насосов и т.д.), собранные тысячами датчиков в ЦОД, и прогнозирует с помощью нейронных сетей системы искусственного интеллекта будущие показатели средней эффективности энергопотребления (Power Usage Effectiveness, PUE), которые определяются как отношение общего потребления электроэнергии в здании к энергопотреблению ИТ-оборудования.

Другие нейронные сети используются для прогнозирования температуры и давления в ЦОД с последующей выдачей рекомендаций по проведению необходимых мероприятий.

«Наша система машинного обучения способна на 40% сократить потребление энергии для охлаждения, что соответствует 15-процентному уменьшению PUE с учетом энергетических потерь и прочих неэффективных затрат, не имеющих отношения к охлаждению, – указывается в материалах Google. – Таким образом, PUE достигает минимального уровня за всю историю наблюдений».

С помощью алгоритма машинного обучения DeepMind компания Google планирует решать и другие задачи в интересах ЦОД, в том числе связанные с повышением эффективности конверсии электростанций (увеличения объема вырабатываемой ими электроэнергии при тех же начальных условиях); сокращением потребления энергии и воды электронным оборудованием; а также с повышением пропускной способности производственных мощностей.

Компания готова поделиться полученными результатами, с тем чтобы операторы других ЦОД и промышленных систем также могли извлечь выгоду из почерпнутых ею уроков.

Вычислительные мощности есть у всех дата-центров, и во всех в той или иной мере присутствует охлаждение. Конечно, доступные вычислительные мощности могут отличаться, но большинство ЦОД вполне способно удовлетворить потребности большей части клиентов. На недавней конференции Finance and Investment Forum, прошедшей в Лондоне, от клиентов и инвесторов исходил четкий посыл: «Нас не заботят ваши пустые заявления. Нам интересны лишь безопасность ЦОД и получаемый уровень обслуживания».

Между тем большинство владельцев ЦОД, похоже, больше беспокоит то, что они думают о себе сами. (Возможно, мы просто преувеличиваем степень их зрелости?) «Мой ЦОД отвечает стандарту Tier 3, а мой – Tier 3*, у моего показатель PUE, характеризующий эффективность энергопотребления, составляет 1,2, а у меня – 1,1» – слышим мы то и дело.

Но: a) на самом деле это не так; б) такие уровни по большей части недостижимы; в) практически всегда это не более чем похвальба; г) клиентов все это совершенно не интересует.

Клиенты справедливо ждут, что ЦОД будет находиться в состоянии постоянной готовности. Источник: Leonardo Rizzi — CC BY-SA 3.0

Громкие заявления довольно редко действительно имеют под собой основания. Да, клиентам важно, чтобы ЦОД был доступен тогда, когда им это понадобится. Возможно, клиентов интересует даже эффективность ЦОД, хотя для многих плата не зависит от величины PUE, поэтому и экономия проходит мимо них.

Клиенты справедливо ждут, что ЦОД будет находиться в состоянии постоянной готовности. Они рассчитывают также, что мощности его обладают достаточным уровнем резервирования, и, если один элемент выйдет из строя, его тут же заменит другой без какого-либо прерывания обслуживания. Клиенты надеются, что ЦОД работает максимально эффективно. В конце концов, на протяжении многих лет нам постоянно твердят об этом. Редко когда можно встретить владельца коммерческого ЦОД, который не упомянул бы о «Tier 3» (очень часто это является саморекламой) или не утверждал, что у него показатель PUE меньше, чем у кого бы то ни было (еще одно голословное заявление). А вот о чем многие предпочитают не упоминать, так это о безопасности и реальном качестве обслуживания,  ведь это отнюдь не является их сильной стороной.

Клиентов же безопасность и качество обслуживания интересуют в гораздо большей степени, нежели какие-то совершенно абстрактные для них Tier и PUE. На практике их совершенно не заботит, каким должен быть показатель PUE и почему. Клиенты хотят знать, будут ли их программы и данные в безопасности. И на какой уровень обслуживания они могут рассчитывать. И если среди ночи они позвонят в службу поддержки, потому что связь с их сервером, похоже, оборвалась, какой будет реакция. И каким приоритетом будут обладать их сервисы в случае аварии или сбоя в ЦОД.

Почти каждую неделю мы слышим очередную историю о брешах в системе ИТ-безопасности.

Какой-то подгулявший парламентарий забыл свой ноутбук в поезде, очередной идиот в правительстве отправил по почте диск со сведениями о номерах карточек страхования граждан, и диск этот потерялся по дороге, хакеры увели у провайдера облачных сервисов пароли нескольких тысяч пользователей, охранники ЦОД были уволены после того, как злоумышленники похитили маршрутизаторы ядра сети. Клиенты должны ощущать себя в безопасности, зная, что процессы обладают достаточной устойчивостью для того, чтобы закрыть любую брешь. Просто удивительно, как много ЦОД пренебрегают этими элементарными правилами.

Встречаются ЦОД, проникать в которые можно часами, даже если вашего появления там ждут. Полчаса уйдет на то, чтобы пройти через входную дверь, если же вы хотите попасть внутрь, проще подойти сзади и воспользоваться грузовым дебаркадером. Здесь нет никого, и вы легко сможете пройти в любое место здания. Между тем все процессы должны быть надежны и эффективны с точки зрения защиты клиентских данных и оборудования, но просты и прозрачны в части получения авторизованного доступа. Большинство организаций превыше всего ценит безопасность своих данных, но многие ЦОД отделываются здесь лишь пустыми словами, предпочитая акцентировать внимание на том, какой у них Tier и насколько низким является показатель PUE: проверить это все равно невозможно и рассуждать об этом гораздо проще!

Качество же обслуживания по большей части оставляет желать лучшего. Во многих ЦОД полагают, что после подписания контракта клиент становится привязан к ним на долгие годы. И даже когда срок договора подойдет к концу, уйти в другое место окажется слишком сложно и дорого. Возможно, когда-то это было действительно так, но сегодня все изменилось. Многие провайдеры ЦОД поспешили запрыгнуть в «облачный» поезд, но лишь очень небольшая часть из них представляет себе, что на самом деле должно скрываться за «облачными сервисами». Они не понимают также, что пока необходимость предоставления хорошего сервиса не станет им очевидна, облако будет оставаться для них проклятием.

Может показаться, что облако открывает очень широкие возможности для маркетинговых изысков, но на самом деле клиентам всего лишь становится проще перемещаться между сервис-провайдерами. Использование облачной платформы позволяет клиентам переносить данные, а иногда и приложения из одного ЦОД в другой. Мы никогда не советовали бы использовать облако в качестве единственного места для хранения важных или конфиденциальных данных (вспомните о хакерах, которые уже успели похитить пароли у нескольких тысяч клиентов), но в качестве средства для миграции с одной платформы на другую облако подходит очень хорошо.

Прислушивайтесь к своим клиентам, они почти всегда интересуются действительно важными для них вопросами безопасности и качества обслуживания, а не оторванной от реальности рекламы.