СЕРВЕРНАЯ ФЕРМА С ИММЕРСИОННОЙ СИСТЕМОЙ ОХЛАЖДЕНИЯ Российский патент 2015 года по МПК G06F1/20 H05K7/20 

Изобретение относится к области вычислительной техники, а именно к серверным фермам, предназначенным для проведения высокопроизводительных вычислений и компьютерного моделирования, с охлаждением посредством полного погружения нагревающихся электронных компонентов в охлаждающую жидкость.

Известна вычислительная установка компании Isotermal System Research (патент США 6976528, опубл. 20.12.2005 г.), охлаждаемая путем впрыскивания охлаждающей жидкости на нагревающиеся электронные компоненты. Такая вычислительная установка может функционировать при широком диапазоне температур окружающей среды, в том числе при отрицательных температурах (-65°C…+70°C). Для работы при отрицательных температурах установка снабжена нагревательным элементом. Изобретением не раскрывается способ выполнения нагревательного элемента.

Известна группа решений, раскрывающих охлаждение одного полупроводникового устройства, например интегральной микросхемы, в частности одной материнской платы.

Например, в патенте США 5021924, опубл. 04.06.1991, компании HITACHI LTD [JP], описывается интегральная микросхема, которая включает совокупность чипов, смонтированных на подложке, и заключенная в индивидуальный контейнер, снабженный герметичной крышкой, который заполнен охлаждающей жидкостью. Охлажденная внешним теплообменником диэлектрическая жидкость подается в распределительный коллектор, расположенный в крышке. Посредством системы направляющих патрубков распределительного коллектора, которые заканчиваются вблизи каждого нагревающегося компонента, охлаждающая жидкость нагнетается на каждый нагревающийся компонент. В другой реализации изобретения к направляющим патрубкам смонтированы направляющие, предназначенные для более эффективного формирования потока нагретой электронными компонентами охлаждающей жидкости и предотвращения ее смешивания с потоком охлаждающей жидкости, поступающей из соседних направляющих патрубков.

В патенте США 6052284, опубл. 18.04.2000, описывается материнская плата, на которой с обеих сторон смонтировано множество электронных компонентов, заключенная в герметичный корпус, заполненный охлаждающей жидкостью. В одной группе вариантов исполнения изобретения нагревающиеся компоненты на подложке расположены в виде матрицы, при этом на подложке различным образом установлены направляющие потока охлаждающей жидкости, предназначенные для распределения потока охлаждающей жидкости. Также в направляющих могут быть выполнены сквозные отверстия для более эффективного распределения охлаждающей жидкости.

В патенте США 4302793, опубл. 24.11.1981, компании SUBMERGIBLE OIL SYSTEMS INC, описывается способ иммерсионного охлаждения электронного устройства, состоящего из одного шасси с материнской платой и смонтированными на ней нагревающимися электронными компонентами. Такое шасси помещено в герметичный резервуар, заполненный охлаждающей жидкостью и снабженный подводом охлажденной во внешнем теплообменнике охлаждающей жидкости и отводом нагретой электронными компонентами охлаждающей жидкости. В нижней части стенки шасси выполнено одно или несколько отверстий, через которые охлаждающая жидкость из нижней части резервуара, поступившая туда из подвода, направляется в шасси к электронным компонентам.

Известная группа решений, описывающая иммерсионное охлаждение стопок из материнских плат.

Например, в патенте США 4984066, опубл. 08.01.1991, компании CORIOLIS CORP [US], описывается охлаждение стопки материнских плат, погруженных в герметичный контейнер, заполненный охлаждающей жидкостью. Материнские платы отстоят друг от друга на некотором расстоянии с образованием между ними зазора, в котором формируется поток охлаждающей жидкости. В одном из вариантов исполнения изобретения материнские платы и поверхности нагревающихся электронных компонентов, смонтированных на них, образуют структуру с криволинейным профилем. И тогда в зазоре расположены мембраны, предназначенные для формирования потока охлаждающей жидкости определенным образом, и направляющие, предназначенные для направления потока охлаждающей жидкости определенным образом.

В охранном документе ЕР 0463782 (В1), опубл. 15.06.1991, компании AMERICAN TELEPHONE & TELEGRAPH [US], описывается способ охлаждения стопки монтажных плат со смонтированными на их необращенных друг к другу сторонах электронными компонентами. Две такие монтажные платы образовывают вычислительный узел. Причем монтажные платы отстоят друг от друга на некотором расстоянии с образованием между ними зазора. В одном варианте изобретения через такую стопку монтажных плат организован продольный поток охлаждающей жидкости. При этом в одной из двух монтажных плат вычислительного узла выполнены отверстия так, что монтажные платы с отверстиями чередуются с монтажными платами, в которых отверстия не выполнены. Таким образом, поток охлаждающей жидкости, проходящий между двумя монтажными платами одного вычислительного узла, смешивается с потоком охлаждающей жидкости, проходящим между монтажной платой этого вычислительного узла и монтажной платой соседнего вычислительного узла.

Недостатком данных решений является невысокая плотность упаковки материнских плат в стопке, обусловленная наличием большого зазора между материнскими платами, отсутствие возможности их функционирования при отрицательных температурах, а также снижение эффективности охлаждения, если в стопке отсутствует хотя бы одна из материнских плат.

Известны серверные фермы, охлаждаемые путем погружения электронных компонентов в охлаждающую жидкость.

Так, компания Cray Research Inc. в патенте США 4590538, опубл. 20.05.1986 г., описала вычислительную установку, состоящую из герметичного цилиндрического контейнера, 16 радиально установленных в нем блоков материнских плат, ориентированных вертикально в плоских ячейках, ограниченных поддерживающими рамами, при этом материнские платы в блоках расположены горизонтально, а между ними образуются отсеки треугольной формы, в которых циркулирует охлаждающая жидкость, образуя восходящий и нисходящий потоки так, что блоки материнских плат полностью омываются охлаждающей жидкостью. Блоки питания устанавливаются на дне контейнера и оказываются также погруженными в охлаждающую жидкость.

Недостатком данной вычислительной установки является невозможность ее функционирования при отрицательных температурах окружающей среды.

В заявке США 20120035773, опубл. 09.02.2012 (компания POWERQUEST LLC), описывается способ охлаждения серверной фермы. В одном из вариантов исполнения изобретения каждая материнская плата погружена в диэлектрическую жидкость и помещена в герметичный контейнер. К нагревающимся компонентам материнской платы смонтированы накрывающие или прилегающие к ним металлические или пластиковые блоки, имеющие полые выступающие части различной формы. В полость таких выступающих частей поступает охлажденная внешним теплообменником диэлектрическая жидкость, что обеспечивает дополнительное локальное направленное охлаждение нагревающихся электрических компонентов.

Недостатком данного решения является невысокая плотность упаковки материнских плат, обусловленная наличием индивидуального контейнера, использованием стандартных серверных стоек со стандартной шириной посадочных мест для вычислительных узлов и монтажными и эксплуатационными промежутками, а также охлаждающих блоков. Все это сокращает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов. Кроме того, заявленная ферма не может функционировать при отрицательных температурах окружающей среды.

В патенте США 7961475, опубл. 14.06.2011 (компания IBM [US]), описывается суперкомпьютерная система, охлаждаемая жидкостью. В одном из вариантов исполнения изобретения каждый вычислительный узел заключен в индивидуальный контейнер, заполненный полностью или частично охлаждающей жидкостью. Нагревающиеся электронные компоненты вычислительных узлов частично или полностью погружены в охлаждающую жидкость. Испаряющаяся с поверхности электронных компонентов нагретая охлаждающая жидкость направляется посредством направляющих пластин к выпускному патрубку.

Недостатками данного решения является невозможность функционирования вычислительной системы при отрицательных температурах окружающей среды, невысокая плотность установки вычислительных узлов, обусловленная наличием индивидуальных контейнеров для вычислительных узлов и использованием стандартных серверных стоек со стандартной шириной посадочных мест для вычислительных узлов. В таких стойках также предусмотрены монтажные и эксплуатационные промежутки. Все это сокращает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов.

В патенте США 5329418, опубл. 12.07.1994 (компания TOSHIBA KK [JP]) описывается суперкомпьютер, каждая материнская плата которого имеет форму прямоугольной трубы. Такие материнские платы плотно соединены друг с другом. В одном из вариантов исполнения изобретения такой массив из материнских плат помещен в герметичный контейнер, заполненный охлаждающей жидкостью. В другом варианте исполнения изобретения через такой массив материнских плат организован поток охлаждающей жидкости, проходящий через полость трубы, образованной материнской платой.

Недостатками данного решения является невозможность функционирования суперкомпьютера при отрицательных температурах окружающей среды, а также снижение эффективности охлаждения в случае, если в суперкомпьютере отсутствует хотя бы одна из материнских плат.

Известна система охлаждения для различных стандартных электронных устройств и вычислительных установок компании Green Revolution Cooling, Inc., описанная в заявке США 20110132579 (опубл. 09.06.2011 г.). Система охлаждения состоит из заполненного охлаждающей жидкостью резервуара, в котором горизонтально установлена промышленно выпускаемая серверная стойка, к которой подведены трубы подвода к нему и выхода из него охлаждающей жидкости; теплообменника, соединенного с выходом охлаждающей жидкости; насоса, соединенного с теплообменником и резервуаром, установленного для прокачивания охлаждающей жидкости по замкнутому контуру. Резервуар может быть выполнен с возможностью установки двух рядов вычислительных узлов.

Недостатками данного решения являются невозможность функционирования при отрицательных температурах окружающей среды, невысокая плотность установки вычислительных узлов, обусловленная тем, что данная система охлаждения предназначена, в том числе для стандартных вычислительных узлов, которые выполнены для воздушного охлаждения и, соответственно, снабжены вентиляторами и воздуховодами, что увеличивает размер самого вычислительного узла и размеры посадочных мест для вычислительных узлов в стандартных серверных стойках, которые монтируются в резервуар.

Известны серверные фермы компании Hardcore Computer, Inc., в частности с технологией охлаждения серверных ферм путем погружения в жидкость, описанные, например, в патенте США 8089764, опубл. 03.01.2012 г., в заявке США 20130081790. Согласно одному варианту исполнения данных изобретений, каждый вычислительный узел может быть заключен в индивидуальный контейнер и помещен в стандартную серверную стойку. Каждый такой контейнер заполнен диэлектрической жидкостью так, что нагревающиеся электронные компоненты оказываются полностью погруженными в охлаждающую жидкость. При этом предусмотрено дополнительное охлаждение нагревающихся компонентов направленным потоком жидкости через накрывающую их дисперсионную камеру.

Другой вариант реализации изобретений предусматривает установку множества вычислительных узлов внутри одного контейнера. Однако ни в описании изобретения, ни в и формуле изобретения, данный вариант реализации изобретения не описан достаточно подробно для того, чтобы можно было оценить плотность установки вычислительных узлов внутри контейнера, а также схему и гидродинамику потоков охлаждающей жидкости.

Недостатками данных серверных ферм, состоящих из вычислительных узлов, каждый из которых заключен в индивидуальный контейнер и установлен в стандартную серверную стойку, являются невысокая плотность установки вычислительных узлов, невозможность их функционирования при отрицательных температурах окружающей среды.

Известна серверная ферма компании Hardcore Computer, Inc., раскрытая в независимом п.13 и подчиненных ему зависимых пп.14-17 формулы изобретения (патент США 8009419, опубл. 30.08.2011 г.). Серверная ферма представляет собой герметичный контейнер, наполненный охлаждающей жидкостью и снабженный направляющими для установки блоков вычислительных узлов. Внутри контейнера помещается охлаждающий механизм, представляющий собой совокупность трубок, разведенных по материнской плате. Трубки с отверстиями находятся в непосредственной близости от нагревающихся компонентов. Через эти отверстия охлаждающая жидкость впрыскивается на такие нагревающиеся компоненты, охлаждает их и затем смешивается с жидкостью, заполняющей контейнер.

Недостатками данной серверной фермы являются невозможность работы серверной фермы в условиях отрицательных температур окружающей среды. Поскольку ни в описании изобретения, ни в формуле изобретения данный вариант реализации изобретения не описан достаточно подробно, то оценить плотность установки вычислительных узлов внутри резервуара, а также схему и гидродинамику потоков охлаждающей жидкости представляется затруднительным.

Известны вычислительные установки компании Hewlled-Packard Development Company (патенты США 6904968, опубл. 14.06.2005 и США 7310737, опубл. 18.12.2007). В обоих патентах раскрываются сходные решения. В стандартную серверную стойку помещают вычислительные узлы. Параллельно боковым стенкам серверной стойки установлены перегородки, образующие камеры, которые, в свою очередь, разделены продольной перегородкой на 2 сообщающихся между собой отсека. В верхней части серверной стойки установлены насосы для подачи жидкости в данные камеры. Электронные компоненты погружены в охлаждающую жидкость, дополнительно к этому к каждому из нагревающихся компонентов организован направленный поток жидкости из направляющих трубок, прикрепленных к перегородкам и сообщающихся с отсеками. При этом отверстия направляющих трубок заканчиваются в непосредственной близости от нагревающихся компонентов. Изобретениями предусмотрена возможность регуляции производительности насосов и скорости потока охлаждающей жидкости по направляющим трубкам в зависимости от интенсивности использования вычислительных мощностей системы и, следовательно, от количества рассеиваемого нагревающимися электронными компонентами тепла.

Недостатками данных вычислительных установок являются невозможность их функционирования при отрицательных температурах окружающей среды, невысокая плотность установки вычислительных узлов, обусловленная наличием камер и отсеков в серверной стойке, а также тем, что в используемой серверной стойке предусмотрена стандартная ширина посадочных мест для вычислительных узлов. Все это сокращает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов.

Задачей изобретения является расширение арсенала серверных ферм.

Технический результат заключается в расширении арсенала технических возможностей серверных ферм, а именно в повышении эффективности охлаждения нагревающихся электронных компонентов, увеличении плотности установки вычислительных узлов, обеспечении функционирования серверной фермы при отрицательных температурах окружающей среды, а также в сохранении эффективности охлаждения и экономии электроэнергии при установке неполного количества вычислительных узлов.

Технический результат достигается тем, что серверная ферма с иммерсионной системой охлаждения, состоящая из герметичного резервуара с установленными в нем вычислительными узлами, блоками питания, накопителями информации, заполненного охлаждающей жидкостью, снабженного крышкой, впускным и выпускным патрубками, сообщающимися посредством трубопровода с насосом и теплообменником, согласно изобретению, снабжена двумя печатными платами. Причем первая печатная плата установлена параллельно днищу резервуара вплотную к стенкам резервуара и состыкована при помощи концевых разъемов данных и питания "стык в стык" со второй печатной платой, установленной параллельно одной из стенок резервуара вплотную к остальным стенкам резервуара, а к месту состыковки первой печатной платы и второй печатной платы вплотную к стенками резервуара прикреплена перегородка, продолжающаяся до той стенки резервуара, параллельно которой установлена вторая печатная плата, образуя при этом камеру, ограниченную днищем резервуара и плотно примыкающими к стенкам резервуара первой печатной платой и перегородкой. Впускной патрубок установлен ниже линии прикрепления перегородки к стенке резервуара и через первый обратный запорный клапан соединен посредством первого напорного трубопровода с циркуляционным насосом, фильтром грубой очистки и теплообменником, который с другой стороны соединен посредством обратного напорного трубопровода через второй обратный запорный клапан с выпускным патрубком, установленным выше линии прикрепления перегородки к стенке резервуара. Между фильтром грубой очистки и теплообменником установлен запорный трехходовой электромагнитный клапан, третий патрубок которого соединен с первым концом второго напорного трубопровода, второй конец которого соединен с третьим патрубком трехходового разветвителя, встроенного в обратный напорный трубопровод между теплообменником и вторым обратным запорным клапаном. Вычислительный узел установлен на первую печатную плату параллельно второй печатной плате вплотную к стенкам резервуара при помощи выполненных в нижней части монтажных панелей разъемов данных и питания, являющихся ответными частями к разъемам данных и питания, расположенным на первой печатной плате. Причем вычислительный узел состоит из двух удерживаемых параллельно друг другу монтажных панелей и материнских плат, смонтированных на обращенных друг к другу поверхностях монтажных панелей. При этом нижняя кромка монтажных панелей выполнена с выступами, предназначенными для приведения в действие пружинного механизма, а к нижним ребрам вертикальных граней трехмерной фигуры, образованной примыкающими друг к другу радиаторами, и перпендикулярных поверхности материнских плат, плотно примыкают две наклоненные навстречу друг к другу пластины, продолжающиеся вплотную до первой печатной платы и прикрепленные к нижней части монтажных панелей. При этом на первой печатной плате вдоль края, противоположного стыковочному краю со второй печатной платой, выполнен ряд разъемов данных, а вдоль противоположного края выполнен ряд разъемов питания, а между рядом разъемов данных и разъемов питания соосно между собой в один ряд выполнены отверстия, предназначенные для доступа охлажденной жидкости из камеры через первую печатную плату к вычислительным узлам, таким образом, что при вертикальной установке вычислительных узлов на первую печатную плату центры этих отверстий совпадают с серединой воображаемого отрезка, концы которого являются наиболее удаленными точками пересечения воображаемой замкнутой области, полученной путем ортогонального проецирования трехмерной фигуры, образованной примыкающими друг к другу и установленными на обращенных друг к другу материнских платах радиаторами, на первую печатную плату, с воображаемой прямой, проведенной в плоскости первой печатной платы параллельно и равноудаленно от ортогональных проекций монтажных панелей на первую печатную плату, причем центры таких отверстий равноудалены от линий примыкания пластин к первой печатной плате, а сами отверстия находятся между этими линиями примыкания. Параллельно ряду разъемов данных и ряду разъемов питания соосно между собой в два ряда выполнены ответные прорези под выступы нижней кромки монтажных панелей, и при этом между каждым разъемом данных и между каждым разъемом питания выполнено отверстие для крепления к первой печатной плате пружинного механизма, выполненного с возможностью локального перекрывания прохождения вертикального потока охлаждающей жидкости из камеры через первую печатную плату на том ее участке, где вычислительный узел не установлен. При этом также между разъемами питания и разъемами данных установлены нагревательные элементы, а на второй печатной плате расположены сетевые коммутаторы, которые соединены с внешними кабелями передачи данных, пропущенными внутрь резервуара через отверстия, выполненные в стенке резервуара, вблизи которой установлена вторая печатная плата, другие концы которых подключены к внешнему управляющему устройству. Причем в нижней части второй печатной платы выполнены концевые разъемы данных и питания для ее стыковки с первой печатной платой, а в ее верхней части выполнен разъем питания, к которому подключены внешние кабели питания, пропущенные внутрь резервуара через отверстия, выполненные в стенке резервуара, вблизи которой установлена вторая печатная плата, другие концы которых подключены к внешнему источнику питания. Сетевые коммутаторы питаются от разъема питания, расположенного в верхней части второй печатной платы, посредством разведенных на второй печатной плате токопроводящих дорожек для питания, а электронные компоненты вычислительных узлов получают питание от внешнего источника питания посредством внешних кабелей питания, разъемов питания и токопроводящих дорожек для питания, разведенных по второй печатной плате, первой печатной плате и материнским платам. Обмен данными между внешним управляющим устройством и электронными компонентами вычислительных узлов осуществляется посредством внешних кабелей данных, разъемов данных и токопроводящих дорожек для питания, разведенных по второй печатной плате, первой печатной плате и материнским платам. Крышка резервуара установлена с возможностью съема и подъема в режиме остановки и работы серверной фермы и выполнена с возможностью герметичного прилегания к верхнему краю стенок резервуара.

При этом возможно, что монтажные панели выполнены из пластика или металла.

При этом возможно, что в качестве крепежных изделий монтажных панелей используются крепежные скобы или шпильки.

При этом возможно, что в нижней части второй печатной платы установлены дополнительные нагревательные элементы.

При этом возможно, что нагревательные элементы выполнены в виде нагрузочных резисторов.

При этом возможно, что пружинный механизм состоит из пластины, соединенной с первой печатной платой посредством свободно пропущенных в выполненные на ней отверстия болтов, концы которых неподвижно зафиксированы при помощи гайки в пластине, стержни которых свободно движутся в отверстиях, и на которые надеты пружинами сжатия так, что один конец пружины опирается на шляпку болта, а другой конец пружины опирается на первую печатную плату сверху.

При этом возможно, что на двух противоположных стенках резервуара смонтированы параллельно боковым ребрам резервуара направляющие с направляющими пазами под вставляемые в них вычислительные узлы или выполнены пропилы под вставляемые в них вычислительные узлы.

При этом возможно, что параллельно циркуляционному насосу установлен дополнительный циркуляционный насос.

При этом возможно, что серверная ферма с иммерсионной системой охлаждения состоит из n герметичных резервуаров, параллельно соединенных между собой посредством системы подводящих и отводящих трубопроводов, сообщающихся с выпускной и впускной коллекторными трубами, соединенными между собой общим напорным трубопроводом.

На фиг.1 показан резервуар серверной фермы.

На фиг.2 показан вычислительный узел.

На фиг.3 показана первая печатная плата.

На фиг.4 показана вторая печатная плата.

На фиг.5 показана схема контура охлаждения серверной фермы, включающей один резервуар.

На фиг.6 показана схема контура охлаждения серверной фермы, включающей n резервуаров.

В одном варианте реализации изобретения серверная ферма представляет собой серверную ферму с одним резервуаром. Серверная ферма, изображенная на фиг.1, включает герметичный прямоугольный резервуар 1, заполненный охлаждающей жидкостью и снабженный крышкой. На двух противоположных стенках резервуара смонтированы параллельно боковым ребрам резервуара направляющие с направляющими пазами или выполнены пропилы под вставляемые в них вычислительные узлы.

В нижней части резервуара параллельно плоскости днища резервуара установлена первая печатная плата 2, плотно примыкающая к трем стенкам резервуара и зафиксированная на смонтированных на днище резервуара крепежных изделиях. Параллельно одной из стенок резервуара установлена вторая печатная плата 3, плотно примыкающая к двум стенкам резервуара и зафиксированная в таком положении при помощи смонтированных на этой стенке резервуара крепежных изделий и продолжающаяся до первой печатной платы. Первая и вторая печатные платы состыкованы между собой «край в край» под углом 90 градусов. Верхняя кромка второй печатной платы не доходит до верхнего края резервуара, при этом резервуар заполняется охлаждающей жидкостью выше уровня ее перелива через вторую печатную плату так, что вторая печатная плата погружена в охлаждающую жидкость полностью. К месту состыковки первой печатной платы и второй печатной платы под углом 45 градусов ко второй печатной плате прикреплена пластиковая или металлическая перегородка 4, плотно примыкающая к тем же стенкам резервуара, что и вторая печатная плата, и продолжающаяся до той стенки резервуара, вблизи которой смонтирована вторая печатная плата, и жестко зафиксированная на этой стенке резервуара в таком положении при помощи крепежных изделий. Первая печатная плата 2, стенки резервуара, днище резервуара и перегородка 4 образуют камеру 5.

В той стенке резервуара, вблизи которой смонтирована вторая печатная плата, ниже уровня прикрепления к ней пластиковой или металлической перегородки 4 выполнено отверстие, в которое установлен впускной патрубок 6. В той же стенке резервуара выше уровня прикрепления к ней пластиковой или металлической перегородки 4 выполнено отверстие, в которое установлен выпускной патрубок 7 такого же диаметра, что и впускной патрубок. Резервуар заполняется охлаждающей жидкостью выше уровня ее перелива через выпускной патрубок.

Вычислительный узел состоит из двух металлических или пластиковых монтажных панелей 8 (фиг.2), удерживаемых параллельно друг другу на определенном расстоянии при помощи крепежных скоб или шпилек (на чертеже не показаны), и двух материнских плат 9, смонтированных на обращенных друг к другу поверхностях монтажных панелей. При этом радиаторы 10, установленные на процессорах, расположенных на обращенных друг к другу материнских платах, расположены симметрично относительно плоскости, проходящей параллельно монтажным панелям и равноудаленной от них. Расстояние между монтажными панелями таково, что между примыкающими друг к другу радиаторами 10, установленными на процессорах, расположенных на обращенных друг к другу материнских платах, не обеспечивается зазор. Нижняя кромка монтажных панелей выполнена с выступами 11 для фиксации монтажных панелей на первой печатной плате. В нижней части монтажных панелей выполнены разъемы данных 12 и питания 13 для их состыковки с первой печатной платой. Вычислительный узел также включает блоки питания и накопители информации. Разъемы данных 12 и питания 13 соединены с материнскими платами при помощи шлейфа или гибкой печатной платы (на чертеже не показаны).

Вдоль края первой печатной платы 2, перпендикулярного стыковочному краю со второй печатной платой 3, соосно между собой расположены разъемы данных 14, выполненные в количестве, равном максимально возможному количеству вычислительных узлов, умещающихся в резервуаре, образующие ряд разъемов данных (фиг.3). Вдоль противоположного края расположены разъемы питания 15, выполненные в количестве, равном максимально возможному количеству вычислительных узлов, умещающихся в резервуаре, образующие ряд разъемов питания. Разъемы данных 14 и разъемы питания 15 представляют собой ответные части к соответствующим частям разъемов данных 12 и питания 13, расположенных на монтажных панелях. Первая печатная плата оснащена концевыми разъемами данных 16 и питания 17, предназначенными для сцепления с нижней кромкой второй печатной платы.

Между рядом разъемов данных 14 и рядом разъемов питания 15, на первой печатной плате соосно между собой выполнены отверстия 18, предназначенные для организации вертикального потока охлаждающей жидкости из камеры 4 через первую печатную плату к вычислительным узлам. Расположение отверстий 18 таково, что при вертикальной установке вычислительных узлов на первую печатную плату центры отверстий совпадают с центром отрезка, концы которого представляют собой наиболее удаленные точки пересечения замкнутой области, представляющей собой ортогональную проекцию на первую печатную плату трехмерной фигуры, образованной примыкающими друг к другу радиаторами 10, установленными на обращенных друг к другу материнских платах, с воображаемой прямой, проведенной в плоскости первой печатной платы параллельно и равноудаленно от ортогональных проекций монтажных панелей на первую печатную плату.

Примыкающие друг к другу радиаторы, расположенные на обращенных друг к другу материнских платах, образуют трехмерную фигуру. К нижним ребрам вертикальных граней такой трехмерной фигуры, которые перпендикулярны плоскостям материнских плат, симметрично относительно воображаемой вертикальной плоскости, проходящей перпендикулярно монтажным панелям через их середину, плотно прилегают две пластины 19 под острым углом наклона к плоскости, перпендикулярной первой печатной плате и перпендикулярной монтажным панелям (фиг.2), прикрепленные к поверхности к нижней части монтажных панелей при помощи крепежных элементов. При этом пластины 19 смонтированы так, что при вертикальной установке вычислительных узлов на первую печатную плату они продолжаются до первой печатной платы и плотно прилегают к поверхности материнских плат и монтажных панелей. При этом отверстие 18 находится между линиями примыкания пластин 19 к первой печатной плате 2.

На первой печатной плате вдоль краев, перпендикулярных стыковочному краю со второй печатной платой, соосно между собой также выполнены прорези 20 под выступы 11 нижней кромки монтажных панелей.

На первой печатной плате вдоль обоих краев, перпендикулярных стыковочному краю со второй печатной платой, выполнены отверстия 21, предназначенные для крепления к ней пружинного механизма. Расположение отверстий 21 таково, что при вертикальной установке вычислительных узлов на первую печатную плату центры отверстий 21 находятся на воображаемой прямой, проведенной в плоскости первой печатной платы параллельно и равноудаленно ортогональным проекциям монтажных панелей на первую печатную плату. Пружинный механизм (фиг.2) состоит из пластиковой или металлической пластины 22, соединенной с первой печатной платой 2 посредством вставленных в отверстия 21 двух болтов 23 с надетыми на них пружинами сжатия 24. Конец каждого болта неподвижно зафиксирован при помощи гайки в пластине 22, а стержень болта свободно движется в отверстии 21. Пружина надета на болт так, что выпадение одного конца пружины предотвращает шляпка болта, а другой конец пружины опирается на первую печатную плату сверху. Геометрическая форма пластины 22 представляет собой прямоугольник, две противоположные стороны которого совпадают с ортогональной проекцией монтажных панелей на плоскость первой печатной платы.

Между разъемами данных 14 и между разъемами питания 15 установлены нагревательные элементы, выполненные в виде нагрузочных резисторов (на чертеже не показаны).

Вычислительные узлы установлены внутри резервуара на первую печатную плату 2 вплотную друг к другу. Вычислительный узел установлен внутри резервуара на первую печатную плату 2 так, что выступы 11 нижней кромки монтажных панелей вставлены в выполненные на первой печатной плате прорези 20, а концы этих выступов опираются на пластину 22. Так как концы болтов 23 неподвижно зафиксированы в пластине 22, а стержни болтов свободно движутся в отверстиях 21, то под весом вычислительного узла пружины 24 сжимаются и пластина 22 смещается вниз в продольно-осевом направлении, при этом между пластиной 22 и первой печатной платой 2 образуется зазор и отверстие 18 открывается. В случае если вычислительный узел не установлен, то пружины 24 не деформируются и пластина 22 плотно прилегает к отверстию 18, закрывая его. Таким образом, при установке или снятии вычислительных узлов приводится в действие пружинный механизм. Если отверстие 18 открыто, то охлаждающая жидкость из камеры 4 попадает через первую печатную плату к вычислительным узлам и наоборот.

Вычислительные узлы устанавливаются и снимаются в режиме работы серверной фермы, тем самым обеспечивая возможность горячей замены вышедших из строя электронных компонентов.

В нижней части второй печатной платы (фиг.4) выполнены ответные части разъемов данных 25 и питания 26 к концевым разъемам данных 16 и питания 17 соответственно, расположенным на первой печатной плате. В нижней части второй печатной платы размещены сетевые коммутаторы 27 (на чертеже показано в качестве примера два коммутатора). К каждому сетевому коммутатору подключены внешние кабели данных, другие концы которых выведены наружу через отверстия, выполненные в стенке резервуара, вблизи которой смонтирована вторая печатная плата, и подключены к внешнему управляющему устройству. В верхней части второй печатной платы выполнен разъем питания 28, предназначенный для подключения внешних кабелей питания, пропущенных внутрь резервуара через отверстия, выполненные в той же стенке резервуара. Другие концы внешних кабелей питания подключены к внешнему источнику питания. Сетевые коммутаторы получают питание от разъема питания 28 посредством дорожек для питания, разведенных по второй печатной плате. В некоторых вариантах реализации изобретения в нижней части второй печатной платы установлены дополнительные нагревательные элементы (на чертеже не показаны).

Крышка резервуара состоит из створки и крепежных изделий, посредством которых створка крышки крепится к крепежным изделиям, установленным на верхних краях стенок резервуара. Крепежные изделия выполнены с обеспечением возможности съема и подъема створки. Створка крышки имеет угол открытия не менее 90 градусов и снабжена механизмом ее фиксации в таком положении. Верхний край резервуара по всему периметру и нижний край створки крышки по всему периметру имеют слой уплотнителя, обеспечивающий герметичное прилегание створки крышки к верхнему краю резервуара. Для обеспечения оперативного доступа внутрь резервуара к вычислительным узлам створка крышки открывается и снимается в режиме работы серверной фермы.

На фиг.5 показан контур охлаждения серверной фермы, включающей один резервуар. Наружный конец выпускного патрубка через первый обратный запорный клапан 29 последовательно соединен первым напорным трубопроводом 30 с циркуляционным насосом 31, фильтром грубой очистки 32 и теплообменником 33. Теплообменник соединен обратным напорным трубопроводом 34 через второй обратный запорный клапан 35 с наружным концом впускного патрубка 6. Таким образом, образуется большой замкнутый контур переноса тепла от вычислительных узлов к теплообменнику и охлажденной жидкости от теплообменника обратно к вычислительным узлам.

Между фильтром грубой очистки и теплообменником встроен запорный трехходовой электромагнитный клапан 36, третий патрубок которого соединен с первым концом второго напорного трубопровода 37. Второй конец второго напорного трубопровода 37 соединен с третьим патрубком трехходового разветвителя, встроенного в обратный напорный трубопровод 34 между теплообменником 33 и вторым обратным запорным клапаном 35. Запорный трехходовой электромагнитный клапан 36 предназначен для перекрытия потока охлаждающей жидкости, поступающего к теплообменнику, и направления его посредством второго напорного трубопровода через третий патрубок трехходового разветвителя обратно в резервуар к вычислительным узлам. Таким образом, образуется малый замкнутый контур переноса тепла от вычислительных узлов во второй напорный трубопровод и охлажденной жидкости из второго напорного трубопровода обратно в резервуар, минуя теплообменник. Для обеспечения отказоустойчивости параллельно циркуляционному насосу 31 установлен дублирующий циркуляционный насос (на чертеже не показан).

В другом варианте реализации изобретения серверная ферма представляет собой серверную ферму с n резервуарами. На фиг.6 изображена схема контура охлаждения серверной фермы, включающей n резервуаров. Серверная ферма состоит из n герметичных прямоугольных резервуаров 1, заполненных охлаждающей жидкостью, с установленными в них вычислительными узлами, первой печатной платой 2, второй печатной платой 3, перегородкой 4. Каждый резервуар снабжен крышкой. Каждый резервуар 1 посредством отводящего напорного трубопровода 30 через выпускной патрубок, первый обратный запорный клапан 29, циркуляционный насос 31 и фильтр грубой очистки 32 сообщается с выпускной коллекторной трубой 37, один конец которой заглушен, а второй соединен посредством первого трехходового разветвителя с первым общим напорным трубопроводом 38. В первый общий напорный трубопровод 38 далее последовательно подсоединены общий циркуляционный насос 39, общий фильтр грубой очистки 40 и теплообменник 33. С другой стороны теплообменник 33 соединен с обратным общим напорным трубопроводом 41. Каждый резервуар 1 посредством подводящего трубопровода 42 через впускной патрубок и второй обратный запорный клапан 35 сообщается с впускной коллекторной трубой 43, один конец которой заглушен, а второй соединен посредством отвода с обратным общим напорным трубопроводом 41. Таким образом, образуется большой замкнутый контур переноса тепла от вычислительных узлов к теплообменнику и охлажденной жидкости от теплообменника обратно к вычислительным узлам.

Между общим фильтром грубой очистки 40 и теплообменником 33 встроен запорный трехходовой электромагнитный клапан 36, третий патрубок которого соединен с первым концом второго общего напорного трубопровода 44. Второй конец второго общего напорного трубопровода 44 соединен с третьим патрубком второго трехходового разветвителя, встроенного в обратный общий напорный трубопровод 41 между теплообменником 33 и отводом впускной коллекторной трубы 43. Запорный трехходовой электромагнитный клапан 36 предназначен для перекрытия потока охлаждающей жидкости, поступающего к теплообменнику 33, и направления его через второй общий напорный трубопровод 44, сообщенный с третьим патрубком второго трехходового разветвителя, который в свою очередь сообщен посредством обратного общего напорного трубопровода 41 с впускной коллекторной трубой 43 и подводящими трубопроводами 42, в каждый из резервуаров к вычислительным узлам. Таким образом, образуется малый замкнутый контур переноса тепла от вычислительных узлов во второй общий напорный трубопровод и охлажденной жидкости из второго общего напорного трубопровода обратно в резервуар к вычислительным узлам, минуя теплообменник. Для обеспечения отказоустойчивости параллельно общему циркуляционному насосу 39 установлен дублирующий циркуляционный насос (на чертеже не показан).

Во время работы серверной фермы вычислительные узлы полностью погружены в охлаждающую жидкость, а отверстия 18 открыты. В одном варианте реализации изобретения нагретая вычислительными узлами охлаждающая жидкость через выпускной патрубок и первый обратный запорный клапан переливается в первый напорный трубопровод, соединенный с циркуляционным насосом. Циркуляционный насос через фильтр грубой очистки прокачивает нагретую охлаждающую жидкость по сообщенному с ним первому напорному трубопроводу к открытому запорному трехходовому электромагнитному клапану и теплообменнику. Теплообменник отводит тепло от поступающей нагретой жидкости. Из теплообменника охлажденная охлаждающая жидкость поступает в обратный напорный трубопровод, сообщенный со вторым обратным запорным клапаном и впускным патрубком, а затем через камеру 5 и отверстия 18 подается обратно к вычислительным узлам. Таким образом, образуется большой замкнутый контур циркуляции охлаждающей жидкости, начинающийся от вычислительных узлов, продолжающийся к циркуляционному насосу, теплообменнику и возвращающийся обратно в резервуар к вычислительным узлам.

Если температура окружающей среды не превышает 0°C, то запорный трехходовой электромагнитный клапан закрывают. Циркуляционный насос через фильтр грубой очистки подает охлаждающую жидкость в первый напорный трубопровод, а запорный трехходовой электромагнитный клапан направляет охлаждающую жидкость во второй напорный трубопровод, где она охлаждается, а затем через трехходовой разветвитель, второй запорный клапан и впускной патрубок охлаждающая жидкость поступает обратно в резервуар к вычислительным узлам. Таким образом, охлаждающая жидкость циркулирует по малому замкнутому контуру охлаждения от вычислительных узлов к циркуляционному насосу и возвращается обратно в резервуар к вычислительным узлам, минуя теплообменник.

В другом варианте реализации изобретения нагретая вычислительными узлами охлаждающая жидкость через выпускной патрубок и первый обратный запорный клапан, сообщенные с каждым из резервуаров, переливается в отводящие напорные трубопроводы, соединенные с выпускной коллекторной трубой. Затем охлаждающая жидкость поступает в первый общий напорный трубопровод к общему циркуляционному насосу, который через общий фильтр грубой очистки подает ее в теплообменник. В теплообменнике нагретая охлаждающая жидкость охлаждается и подается по обратному общему напорному трубопроводу во впускную коллекторную трубу, затем по соединенным с ней подводящим трубопроводам подается через обратные запорные клапаны и впускные патрубки обратно в резервуары через камеры 5 и отверстия 18 к вычислительным узлам. Таким образом, охлаждающая жидкость циркулирует по большому замкнутому контуру охлаждения, начинающемуся от вычислительных узлов, продолжающемуся к теплообменнику и возвращающемуся обратно в резервуар к вычислительным узлам.

Если температура окружающей среды не превышает 0°C, то запорный трехходовой электромагнитный клапан закрывают. Общий циркуляционный насос через общий фильтр грубой очистки подает охлаждающую жидкость в первый общий напорный трубопровод, при этом запорный трехходовой электромагнитный клапан направляет охлаждающую жидкость во второй общий напорный трубопровод. А затем через третий патрубок второго трехходового разветвителя посредством обратного общего напорного трубопровода, впускной коллекторной трубы и подводящих трубопроводов охлаждающая жидкость возвращается обратно к каждому из резервуаров в камеру 5 и далее через отверстия 18 к вычислительным узлам. Таким образом, охлаждающая жидкость циркулирует по малому замкнутому контуру охлаждения, минуя теплообменник.

Температура окружающей среды, при которой возможна работа заявляемой серверной фермы колеблется от -40°C до +40°C.

Электронные компоненты вычислительных узлов получают питание от внешнего источника питания посредством внешних кабелей питания, пропущенных внутрь резервуара через отверстия в той его стенке, вблизи которой смонтирована вторая печатная плата. Одни концы внешних кабелей питания соединены с внешним источником питания, а другие их концы подключены к разъему питания 28, выполненному на второй печатной плате. Питание подается по токопроводящим дорожкам для питания, разведенным по второй печатной плате от разъема питания 28 к концевому разъему питания 26, по первой печатной плате от концевого разъема питания 17 к концевому разъему питания 15, и далее от разъема питания 13 к электронным компонентам, смонтированным на материнской плате.

Обмен данных между внешним управляющим устройством и электронными компонентами вычислительных узлов осуществляется посредством токопроводящих дорожек для данных, разведенных по второй печатной плате от сетевых коммутаторов к концевому разъему данных 25, по первой печатной плате от концевого разъема данных 16 к разъему данных 14, и далее от разъема данных 12 к электронным компонентам, смонтированным на материнской плате.

В качестве охлаждающей жидкости используются синтетические или натуральные масла.

Повышение плотности установки вычислительных узлов достигается за счет отсутствия индивидуального корпуса, в который заключается вычислительный узел, и индивидуального контейнера, в который заключаются одна или более материнских плат, неиспользования стандартных серверных стоек со стандартной шириной посадочных мест для вычислительных узлов и с монтажными и эксплуатационными промежутками. Кроме того, монтажные печатные платы установлены вплотную друг к другу. Все это увеличивает полезное пространство, которое может быть использовано для установки дополнительных вычислительных узлов. Помимо того, изобретением не предусмотрено использование стандартных вычислительных узлов, предназначенных для воздушного охлаждения, что сокращает размеры устанавливаемых в заявляемую серверную ферму вычислительных узлов.

Повышение эффективности охлаждения достигается за счет использования пластин, смонтированных к радиаторам.

Функционирование при отрицательных температурах окружающей среды достигается за счет использования нагревательных элементов.

Сохранение эффективности охлаждения и экономии электроэнергии при установке неполного количества вычислительных узлов достигается за счет наличия пружинного механизма. Функционирование пружинного механизма предотвращает нарушение схемы потока охлаждающей жидкости в случае, если в резервуаре установлено меньшее количество вычислительных узлов, чем может в нем уместиться. Также, благодаря функционированию пружинного механизма поток охлаждающей жидкости не подается к тому участку резервуара, который не занят вычислительным узлом, что позволяет снижать производительность насоса в зависимости от количества отсутствующих вычислительных узлов без потери эффективности охлаждения. Уменьшение производительности насоса позволяет сэкономить электроэнергию, затрачиваемую на его функционирование.

Изобретение относится к области вычислительной техники. Технический результат - повышение эффективности охлаждения нагревающихся электронных компонентов, увеличение плотности установки вычислительных узлов, обеспечение функционирования серверной фермы при отрицательных температурах окружающей среды, а также сохранение эффективности охлаждения и экономии электроэнергии при установке неполного количества вычислительных узлов. Серверная ферма с иммерсионной системой охлаждения состоит из герметичного резервуара, заполненного охлаждающей жидкостью, снабженного крышкой, впускным и выпускным патрубками, сообщающимися с циркуляционным насосом и теплообменником. Внутри резервуара параллельно его днищу установлена первая печатная плата, состыкованная со второй печатной платой, установленной параллельно одной из стенок резервуара. К месту состыковки первой и второй печатных плат прикреплена перегородка, продолжающаяся до стенки резервуара. Вычислительный узел состоит из двух параллельных друг другу монтажных панелей и материнских плат, смонтированных на обращенных друг к другу поверхностях монтажных панелей. К радиаторам плотно примыкают две наклоненные навстречу друг к другу пластины, продолжающиеся вплотную до первой печатной платы и прикрепленные к нижней части монтажных панелей. Вычислительный узел установлен на первую печатную плату параллельно второй печатной плате. На первой печатной плате соосно между собой выполнены отверстия для доступа охлажденной жидкости через первую печатную плату к вычислительным узлам. Пружинный механизм прикреплен к первой печатной плате и предназначен для локального перекрывания прохождения вертикального потока охлаждающей жидкости через первую печатную плату на том ее участке, где вычислительный узел не установлен. Серверная ферма может включать n герметичных резервуаров, параллельно соединенных между собой посредством системы подводящих и отводящих трубопроводов, сообщающихся с выпускной и впускной коллекторными трубами, соединенными между собой общим напорным трубопроводом. 2 н. и 9 з.п. ф-лы, 6 ил.

1. Серверная ферма с иммерсионной системой охлаждения, состоящая из герметичного резервуара с установленными в нем вычислительными узлами, блоками питания, накопителями информации, заполненного охлаждающей жидкостью, снабженного крышкой, впускным и выпускным патрубками, сообщающимися посредством трубопровода с насосом и теплообменником, отличающаяся тем, что резервуар снабжен двумя печатными платами, причем первая печатная плата установлена параллельно днищу резервуара вплотную к стенкам резервуара и состыкована при помощи концевых разъемов данных и питания "стык в стык" со второй печатной платой, установленной параллельно одной из стенок резервуара вплотную к остальным стенкам резервуара, а к месту состыковки первой печатной платы и второй печатной платы вплотную к стенками резервуара прикреплена перегородка, продолжающаяся до той стенки резервуара, параллельно которой установлена вторая печатная плата, образуя при этом камеру, ограниченную днищем резервуара и плотно примыкающими к стенкам резервуара первой печатной платой и перегородкой; при этом выпускной патрубок установлен выше линии прикрепления перегородки к стенке резервуара и через первый обратный запорный клапан сообщен первым напорным трубопроводом, в который последовательно подсоединены циркуляционный насос и фильтр грубой очистки, с теплообменником, соединенным с другой стороны посредством обратного напорного трубопровода и второго обратного запорного клапана с впускным патрубком, установленным выше линии прикрепления перегородки к стенке резервуара, а между фильтром грубой очистки и теплообменником установлен запорный трехходовой электромагнитный клапан, третий патрубок которого соединен с первым концом второго напорного трубопровода, второй конец которого соединен с третьим патрубком трехходового разветвителя, встроенного в обратный напорный трубопровод между теплообменником и вторым обратным запорным клапаном; вычислительный узел установлен на первую печатную плату параллельно второй печатной плате вплотную к стенкам резервуара при помощи выполненных в нижней части монтажных панелей разъемов данных и питания, являющихся ответными частями к разъемам данных и питания, расположенным на первой печатной плате, причем вычислительный узел состоит из двух удерживаемых параллельно друг другу монтажных панелей и материнских плат, смонтированных на обращенных друг к другу поверхностях монтажных панелей, причем нижняя кромка монтажных панелей выполнена с выступами, предназначенными для приведения в действие пружинного механизма, а к нижним ребрам вертикальных граней трехмерной фигуры, образованной примыкающими друг к другу радиаторами, и перпендикулярных поверхности материнских плат, плотно примыкают две наклоненные навстречу друг к другу пластины, продолжающиеся вплотную до первой печатной платы и прикрепленные к нижней части монтажных панелей; при этом на первой печатной плате вдоль края, противоположного стыковочному краю со второй печатной платой, выполнен ряд разъемов данных, а вдоль противоположного края выполнен ряд разъемов питания, а между рядом разъемов данных и разъемов питания соосно между собой в один ряд выполнены отверстия, предназначенные для доступа охлажденной жидкости из камеры через первую печатную плату к вычислительным узлам, таким образом, что при вертикальной установке вычислительных узлов на первую печатную плату центры этих отверстий совпадают с серединой воображаемого отрезка, концы которого являются наиболее удаленными точками пересечения воображаемой замкнутой области, полученной путем ортогонального проецирования трехмерной фигуры, образованной примыкающими друг к другу и установленными на обращенных друг к другу материнских платах радиаторами, на первую печатную плату, с воображаемой прямой, проведенной в плоскости первой печатной платы параллельно и равноудаленно от ортогональных проекций монтажных панелей на первую печатную плату, причем центры таких отверстий равноудалены от линий примыкания пластин к первой печатной плате, а сами отверстия находятся между этими линиями примыкания, а параллельно ряду разъемов данных и ряду разъемов питания соосно между собой в два ряда выполнены ответные прорези под выступы нижней кромки монтажных панелей, и между каждым разъемом данных и между каждым разъемом питания выполнено отверстие для крепления к первой печатной плате пружинного механизма, выполненного с возможностью локального перекрывания прохождения вертикального потока охлаждающей жидкости из камеры через первую печатную плату на том ее участке, где вычислительный узел не установлен, а также между разъемами питания и разъемами данных установлены нагревательные элементы; на второй печатной плате расположены сетевые коммутаторы, которые соединены с внешними кабелями передачи данных, пропущенными внутрь резервуара через отверстия, выполненные в стенке резервуара, вблизи которой установлена вторая печатная плата, другие концы которых подключены к внешнему управляющему устройству, причем в нижней части второй печатной платы выполнены концевые разъемы данных и питания для ее стыковки с первой печатной платой, а в ее верхней части выполнен разъем питания, к которому подключены внешние кабели питания, пропущенные внутрь резервуара через отверстия, выполненные в стенке резервуара, вблизи которой установлена вторая печатная плата, другие концы которых подключены к внешнему источнику питания, причем сетевые коммутаторы питаются от разъема питания, расположенного в верхней части второй печатной платы, посредством разведенных на второй печатной плате токопроводящих дорожек для питания, а электронные компоненты вычислительных узлов получают питание от внешнего источника питания посредством внешних кабелей питания, разъемов питания и токопроводящих дорожек для питания, разведенных по второй печатной плате, первой печатной плате и материнским платам, при этом обмен данных между внешним управляющим устройством и электронными компонентами вычислительных узлов осуществляется посредством внешних кабелей данных, разъемов данных и токопроводящих дорожек для питания, разведенных по второй печатной плате, первой печатной плате и материнским платам, крышка резервуара установлена с возможностью съема и подъема в режиме остановки и работы серверной фермы и выполнена с возможностью герметичного прилегания к верхнему краю стенок резервуара.

2. Серверная ферма с иммерсионной системой охлаждения, состоящая из n герметичных резервуаров, в каждом из которых установлены вычислительные узлы, блоки питания, накопители информации и каждый из которых заполнен охлаждающей жидкостью, снабжен крышкой, впускным и выпускным патрубками, сообщающимися посредством трубопровода с насосом и теплообменником, отличающаяся тем, что каждый резервуар снабжен двумя печатными платами, причем первая печатная плата установлена параллельно днищу резервуара вплотную к стенкам резервуара и состыкована при помощи концевых разъемов данных и питания "стык в стык" со второй печатной платой, установленной параллельно одной из стенок резервуара вплотную к остальным стенкам резервуара, а к месту состыковки первой печатной платы и второй печатной платы вплотную к стенками резервуара прикреплена перегородка, продолжающаяся до той стенки резервуара, параллельно которой установлена вторая печатная плата, образуя при этом камеру, ограниченную днищем резервуара и плотно примыкающими к стенкам резервуара первой печатной платой и перегородкой; при этом выпускной патрубок каждого резервуара установлен выше линии прикрепления перегородки к стенке резервуара и через первый обратный запорный клапан сообщен отводящим напорным трубопроводом, в который последовательно подсоединены циркуляционный насос и фильтр грубой очистки, с выпускной коллекторной трубой, один конец которой заглушен, а второй сообщается через первый трехходовой разветвитель первым общим напорным трубопроводом, в который далее последовательно подсоединены общий циркуляционный насос и общий фильтр грубой очистки, с теплообменником, соединенным с другой стороны обратным общим напорным трубопроводом с впускной коллекторной трубой, один конец которой заглушен, а второй сообщается посредством подводящего трубопровода и второго обратного запорного клапана с впускным патрубком этого же резервуара, установленным ниже линии прикрепления перегородки к стенке резервуара, а между общим фильтром грубой очистки и теплообменником установлен запорный трехходовой электромагнитный клапан, третий патрубок которого соединен с первым концом второго общего напорного трубопровода, второй конец которого сообщается через второй трехходовой разветвитель обратным общим напорным трубопроводом с впускной коллекторной трубой, вычислительный узел установлен на первую печатную плату параллельно второй печатной плате вплотную к стенкам резервуара при помощи выполненных в нижней части монтажных панелей разъемов данных и питания, являющихся ответными частями к разъемам данных и питания, расположенным на первой печатной плате, причем вычислительный узел состоит из двух удерживаемых параллельно друг другу монтажных панелей и материнских плат, смонтированных на обращенных друг к другу поверхностях монтажных панелей, причем нижняя кромка монтажных панелей выполнена с выступами, предназначенными для приведения в действие пружинного механизма, а к нижним ребрам вертикальных граней трехмерной фигуры, образованной примыкающими друг к другу радиаторами, и перпендикулярных поверхности материнских плат, плотно примыкают две наклоненные навстречу друг к другу пластины, продолжающиеся вплотную до первой печатной платы и прикрепленные к нижней части монтажных панелей; при этом на первой печатной плате вдоль края, противоположного стыковочному краю со второй печатной платой, выполнен ряд разъемов данных, а вдоль противоположного края выполнен ряд разъемов питания, а между рядом разъемов данных и разъемов питания соосно между собой в один ряд выполнены отверстия, предназначенные для доступа охлажденной жидкости из камеры через первую печатную плату к вычислительным узлам, таким образом, что при вертикальной установке вычислительных узлов на первую печатную плату центры этих отверстий совпадают с серединой воображаемого отрезка, концы которого являются наиболее удаленными точками пересечения воображаемой замкнутой области, полученной путем ортогонального проецирования трехмерной фигуры, образованной примыкающими друг к другу и установленными на обращенных друг к другу материнских платах радиаторами, на первую печатную плату, с воображаемой прямой, проведенной в плоскости первой печатной платы параллельно и равноудаленно от ортогональных проекций монтажных панелей на первую печатную плату, причем центры таких отверстий равноудалены от линий примыкания пластин к первой печатной плате, а сами отверстия находятся между этими линиями примыкания, а параллельно ряду разъемов данных и ряду разъемов питания соосно между собой в два ряда выполнены ответные прорези под выступы нижней кромки монтажных панелей, и между каждым разъемом данных и между каждым разъемом питания выполнено отверстие для крепления к первой печатной плате пружинного механизма, выполненного с возможностью локального перекрывания прохождения вертикального потока охлаждающей жидкости из камеры через первую печатную плату на том ее участке, где вычислительный узел не установлен, а также между разъемами питания и разъемами данных установлены нагревательные элементы; на второй печатной плате расположены сетевые коммутаторы, которые соединены с внешними кабелями передачи данных, пропущенными внутрь резервуара через отверстия, выполненные в стенке резервуара, вблизи которой установлена вторая печатная плата, другие концы которых подключены к внешнему управляющему устройству, причем в нижней части второй печатной платы выполнены концевые разъемы данных и питания для ее стыковки с первой печатной платой, а в ее верхней части выполнен разъем питания, к которому подключены внешние кабели питания, пропущенные внутрь резервуара через отверстия, выполненные в стенке резервуара, вблизи которой установлена вторая печатная плата, другие концы которых подключены к внешнему источнику питания, причем сетевые коммутаторы питаются от разъема питания, расположенного в верхней части второй печатной платы, посредством разведенных на второй печатной плате токопроводящих дорожек для питания, а электронные компоненты вычислительных узлов получают питание от внешнего источника питания посредством внешних кабелей питания, разъемов питания и токопроводящих дорожек для питания, разведенных по второй печатной плате, первой печатной плате и материнским платам, при этом обмен данных между внешним управляющим устройством и электронными компонентами вычислительных узлов осуществляется посредством внешних кабелей данных, разъемов данных и токопроводящих дорожек для питания, разведенных по второй печатной плате, первой печатной плате и материнским платам, крышка каждого резервуара установлена с возможностью съема и подъема в режиме остановки и работы серверной фермы и выполнена с возможностью герметичного прилегания к верхнему краю его стенок.

3. Серверная ферма по пп. 1 или 2, отличающаяся тем, что монтажные панели выполнены из пластика.

4. Серверная ферма по пп. 1 или 2, отличающаяся тем, что монтажные панели выполнены из металла.

5. Серверная ферма по пп. 1 или 2, отличающаяся тем, что в качестве крепежных изделий монтажных панелей используются крепежные скобы или шпильки.

6. Серверная ферма по пп. 1 или 2, отличающаяся тем, что в нижней части второй печатной платы установлены дополнительные нагревательные элементы.

7. Серверная ферма по пп. 1 или 2, отличающаяся тем, что нагревательные элементы выполнены в виде нагрузочных резисторов.

8. Серверная ферма по пп. 1 или 2, отличающаяся тем, что пружинный механизм состоит из пластины, соединенной с первой печатной платой посредством свободно пропущенных в выполненные на ней отверстия болтов, концы которых неподвижно зафиксированы при помощи гайки в пластине, стержни которых свободно движутся в отверстиях, и на которые надеты пружинами сжатия так, что один конец пружины опирается на шляпку болта, а другой конец пружины опирается на первую печатную плату сверху.

9. Серверная ферма по пп. 1 или 2, отличающаяся тем, что на двух противоположных стенках резервуара смонтированы параллельно боковым ребрам резервуара направляющие с направляющими пазами под вставляемые в них вычислительные узлы.

10. Серверная ферма по пп. 1 или 2, отличающаяся тем, что на двух противоположных стенках резервуара параллельно боковым ребрам резервуара выполнены пропилы под вставляемые в них вычислительные узлы.

11. Серверная ферма по пп. 1 или 2, отличающаяся тем, что параллельно циркуляционному насосу установлен дополнительный дублирующий циркуляционный насос.