3M продолжает кампанию, направленную на популяризацию инженерных жидкостей, предназначенных для охлаждения электронного оборудования. В конце июня состоялась конференция «Майнинг ферма 2.0», которая прошла через три месяца после первого подобного мероприятия, организованного компанией 3M в Москве (см. «3M погружается в майнинг», Computerworld Россия, 2 апреля 2018).

Размещение высоконагруженных блоков электронного оборудования в емкостях, заполненных иммерсионными жидкостями, подчеркивали представители 3M и других участвовавших в конференции компаний, позволяет значительно повысить эффективность систем охлаждения и оптимизировать соответствующие затраты, чему способствуют значительное улучшение теплообмена, заметное снижение энергопотребления, уменьшение пожарной опасности. Отмечалось также продление срока службы электронных устройств из-за отсутствия перегрева даже при максимально высоких тактовых частотах.

В настоящее время отечественные разработчики используют погружное охлаждение главным образом для майнингового оборудования. Так, в компании «ТГЕ Системы и Решения» из Санкт-Петербурга завершили разработку майнинговой платформы «Реактор» и приступили ее серийному производству.

По словам Ильи Рашкина, президента ТГЕ, платформа «Реактор» мощностью 30 кВт снабжена системой двухфазного иммерсионного охлаждения. Для нее также разработан источник питания, КПД которого при полной рабочей нагрузке — не ниже 96%.

В ТГЕ утверждают, что компании удалось добиться уменьшения значения коэффициента энергоэффективности PUE (Power Usage Effectiveness) до 1,03-1,06, в то время как в системах майнинга с воздушным охлаждением наилучшее значение PUE составляет 1,1.

Разработка комплекса теплообмена проводились совместно с МГТУ им. Н.Э. Баумана, а исследования предельных параметров инженерных жидкостей системы отвода тепла осуществлялись в содружестве с 3M.

В «Реакторе», который комплектуется платами с чипами компании Bitfury, обеспечивающими выполнение алгоритма хеширования SHA-256, используется модульная архитектура, позволяющая осуществлять замену компонентов, установленных в базовой инфраструктуре.

В дальнейших планах – разработка модификаций «Ректора» мощностью 250 и 500 кВт, в том числе в контейнерном исполнении, а также создание системы рекуперации тепла.

Специалисты компании «Формос ТК», со своей стороны, рассказали о контейнерном решении, которое было разработано его совместно с российским технологическим партнером Pocket DC для зарубежного заказчика.

Применение иммерсионной, а не воздушной системы охлаждения, позволило в три раза увеличить плотность размещения оборудования для майнинга в стандартном 40-футовом морском контейнере, пояснил Александр Волокитин, технический директор «Формос ТК», отметив, что расчетные сроки окупаемости систем с обоими типами охлаждения совпадают и составляют 10 месяцев.

Разработкой решений на основе иммерсионного охлаждения для майнинга в «Формос ТК» выделено отдельное направление Bitform, специалисты которого ориентируются на применение инженерной жидкости 3М Novec 7100.

На основе этой же жидкости производят системы охлаждения в компании Immersium, оборудование которой, по данным его разработчиков, может использоваться, как для уже существующих, так и для вновь создаваемых майнинговых систем.

В продуктах Immersium используются теплообменники на базе технологии компании Wieland, а также предоставлена возможность дистанционного мониторинга параметров температуры, давления, уровня жидкости охлаждения, и удаленного управления электропитанием.

На долю инженерных жидкостей 3M, которые применяются для охлаждения компьютерного оборудования, приходится около 20% продаж продуктов Novec в России. В компании полагают, что объем рынка иммерсионного охлаждения может достичь в нашей стране 150 млн долл. В кулуарах конференции отмечался интерес к подобным решениям отечественных разработчиков высокопроизводительных вычислительных систем.

27 марта в Объединенном институте ядерных исследований в Дубне, где накануне отметили 62-ю годовщину его создания, состоялась церемония открытия суперкомпьютера, в состав которого вошел кластер компании РСК на базе технологий Intel, и вычислительный комплекс на основе архитектуры Nvidia Volta, развернутый компанией IBS Platformix. Новый суперкомпьютер назван в честь член-корреспондента Академии наук СССР Николая Говоруна в знак признания его особого вклада в развитие вычислительной техники и информационных технологий ОИЯИ.

Суперкомпьютер создан по инициативе лаборатории теоретической физики и лаборатории информационных технологий ОИЯИ, пояснил Владимир Кореньков, директор ЛИТ. По его словам, суперкомпьютер позволит кардинально ускорить теоретические и экспериментальные исследования в области ядерной физики и физики конденсированных сред, проводимых в ОИЯИ.

С целью расширения таких исследований создается коллайдер NICA (Nuclotron based Ion Collider fAcility), ускорительный комплекс, работающий на встречных пучках тяжелых ионов, ввод в действие которого запланирован на 2020 год.

Кластер «РСК Торнадо» содержит 40 двухпроцессорных вычислительных узла на базе Intel Xeon Gold 6154 и 21 узел с 72-ядерными серверными процессорами Intel Xeon Phi 7290, которые укомплектованы твердотельными SATA-накопителями Intel SSD DC S3520 и высокопроизводительными SSD DC P4511 с интерфейсами NVMe.

Для высокоскоростной передачи данных между вычислительными узлами кластера используются решения на основе коммуникационной архитектуры Intel Omni-Path Architecture, которые, как считают ее разработчики, опережает по производительности системы на основе технологии Infiniband EDR, обладая, к тому же, меньшими задержками.

В кластере «РСК Торнадо» ОИЯИ неблокируемая коммутация с быстродействием до 100 Гбит/c осуществляется 48-портовыми коммутаторами Intel Omni-Path Edge Switch 100 Series. В РСК утверждают, что в установленном в Дубне суперкомпьютре впервые в нашей стране применяется решение Omni-Path с полностью жидкостным охлаждением.

Система прямого жидкостного охлаждения собственной разработки РСК - ключ к обеспечению энергоэффективности суперкомпьютеров компании. В Дубне температура хладоносителя на входе шкафов кластера составляет 45 градусов Цельсия. Это, как одчеркивают в РСК, позволяет круглогодично работать в режиме естественного охлаждения (free cooling). Среднегодовой коэффициент энергоэффективности (Power Usage Effectiveness, PUE) системы охлаждения не превышает, по данным РСК, показателя 1,06.

Вторая часть суперкомпьютера состоит из пяти вычислительных узлов Nvdia DGX-1 с ускорителями Nvidia Tesla V100 и прикладным программным обеспечением для исследований в области искусственного интеллекта и глубокого обучения. Их поставку и ввод в действие в кластере на платформе Nvidia осуществили специалисты компании IBS Platformix.

Распределение задач между кластерами РСК и Nvdia происходит в рамках гетерогенной платформы HybriLIT, пояснил Кореньков.

Собственный суперкомпьютер, расчитывают ОИЯИ, значительно упростит решение многих задач, включая разработку и адаптацию программного обеспечения для ускорительного комплекса NICA, моделирование физических процессов при подготовке экспериментов, обработку полученных результатов, в том числе, фильтрацию и визуализацию данных, реконструкцию треков и выявление произошедших событий. (С применением вычислительных ресурсов, которыми ЛИТ располагает в настоящее время, обработка значительных объемов данных экспериментов на комплексе NICA потребует, по имеющимся оценкам, около двух лет.)

Среди других приложений суперкомпьютера – ресурсоемкие задачи в области решеточной квантовой хромодинамики, а также исследования свойств сильно коррелированных систем в области физики новых материалов.

К важнейшим преимуществам его приобретения в ОИЯИ относят также подготовку специалистов, способных разрабатывать и использовать возможности вычислительных систем нового поколения в научных исследованиях в физике высоких энергий и ядерной физике.

Ожидаемая cуммарная пиковая производительность суперкомпьютера составит 1 PFLOPS при выполнении операций с одинарной точностью или около 500 TFLOPS при вычислениях с двойной точностью. Реальные показатели будут определены в процессе его эксплуатации. Предусмотрен значительный резерв для установки дополнительных узлов по мере роста рабочей нагрузки.

В 3М предлагают использовать жидкостное охлаждение высоконагруженных вычислительных модулей. На семинаре, проведенном компанией, обсуждалось применение погружного иммерсионного охлаждения для оборудования, предназначенного для майнинга криптовалюты.

В связи с увеличением производительности серверов, растущей плотностью размещения оборудования в шкафах машинных залов в центрах обработки данных и значительным увеличением количества выделяемого ими тепла жидкостное охлаждение становится в настоящее время востребованной технологией.

Апологетом такого рода решений в нашей стране является, в частности, компания РСК, использующая в своих суперкомпьютерах технологию прямого жидкостного охлаждения, применение которой, по данным компании, позволяет круглый год работать в режиме естественного охлаждения и довести усредненный коэффициент энергоэффективности (Power Usage Effectiveness, PUE) системы охлаждения до показателя, не превышающего 1,06.

Такая система обеспечивает прецизионное отведение тепла с использованием полностью покрывающих поверхность вычислительных узлов пластин, охлаждаемых жидкостью. Ее изготовление осуществляется в заводских условиях вместе с вычислительными узлами компьютеров.

Прямое жидкостное охлаждение могло бы использоваться и в дата-центрах, построенных для майнинга критовалюты, но едва ли оно применимо в получающих все более широкое распространение майнинговых фермах.

Майнеры размещают свое оборудование если не в обычных квартирах, то и в отдельных помещениях, где им приходится решать весь комплекс вопросов охлаждения своих систем. Как следует из одного из сообщений, сдеданных на семинаре 3M одним из профессиональных майнеров, энергопотребление фермы, содержащей около двух сотен видеокарт, превышает 400 кВт.

Для многих майнеров вполне приемлемым решением могла бы стать технология погружного охлаждения, когда электронное оборудование размещается в емкости с иммерсионной жидкостью, считают в 3М.

Олег Юнязов, руководитель R&D-проектов 3М в России, для охлаждения майнингового оборудования рекомендовал использовать технологические жидкости семейства Novec, которые могут примяться для погружного охлаждения в однофазном и двухфазном режимах.

В первом случае и жидкость, используемая в качестве теплоносителя омывающего вычислительные модули, не меняет фазового состояния. Для ее перемещения и отвода тепла устанавливается насос, нужен также и теплообменник.

В двухфазном режиме перекачивать жидкость не требуется. Жидкость, в которой находится вычислительный модуль, кипит при нормальном атмосферном давлении, пар конденсируется на змеевиках с водным охлаждением и затем возвращается в емкость с оборудованием. При конденсации пар передает энергию, полученную от электронного оборудования, теплоносителю конденсатора.

Низкая температура кипения, для жидкости Novec 7100, к примеру, она составляет 61 градус Цельсия, обеспечивает работоспособность и стабильную температуру электронного оборудования, поясняют в 3M. Такая жидкость не горит, обладает высокими характеристиками теплоемкости и теплопередачи, эффективно отводит тепло, позволяет увеличить плотность размещения электронных компонентов и повысить производительность процессоров, подчеркивают представители компании(см. также «3M расширяет портфель предложений для ЦОДов», Журнал сетевых решений/LAN, №11, 2017).

В компании «Формос ТК», дистрибьюторе 3M, разработали установку погружного иммерсионного охлаждения, применение которой не требует внесения кардинальных изменений в майнинговое оборудование на основе видеокарт или специализированных интегральных микросхем (application-specific integrated circuit, ASIC), сообщил Александр Волокитин, старший менеджер электротехнического отдела компании.

Такая установка, по его утверждению, предоставляет возможность повысить до 20% производительность майнингового оборудования, существенно снизить затраты на охлаждение, может размещаться в помещениях различного назначения, мало шумит и не нагревает окружающую среду.

По имеющимся оценкам, стоимость подобной установки (без учета цены иммерсионной жидкости 3M), в которой можно разместить три майнинговых узла, приближается к 150 тыс. руб.

В 3M провели расчет затрат на охлаждение оборудования для майнинга, установленного в нежилом помещении площадью 10 кв. м, при использования воздушного и погружного двухфазного охлаждения с применением технологической жидкости Novec 7100. Согласно полученным данным, погружное охлаждение увеличивает капитальные расходы на 7%, однако снижает операционные затраты более чем на треть (в зимнее время) и позволяет увеличить на 30% производительность оборудование для майнинга на основе ASIC.

Технология погружного двухфазового охлаждения была впервые применена в 2012 году стартапом Allied Control (в настоящее время входит в компанию BitFury) в высокоплотной майнинговое ферме в Гонконге, где с использованием Novec 7100 удалось довести PUE до значения, 1,02.

По данным исследования Global Data Center Liquid Immersion Cooling Market Analysis & Forecast 2016 to 2020, суммарный объем мирового рынка иммерсионного охлаждения дата-центров увеличится с 109,5 млн в 2015 году до 959,6 млн долл. в 2020-м, что соответствует среднему ежегодному росту на 54%.