СПОСОБ ОБЕСПЕЧЕНИЯ РАБОТЫ ЦЕНТРА ОБРАБОТКИ ДАННЫХ ПРИ НАЛИЧИИ ЭФФЕКТИВНОГО СРЕДСТВА ОХЛАЖДЕНИЯ Российский патент 2017 года по МПК H05K7/20 

Настоящее изобретение относится к способу обеспечения работы центра обработки данных, который выполнен с возможностью размещения большого количества/множества стоек, рассчитанных на образование объема для размещения информационно-технического оборудования (ИТ-оборудования). Центр обработки данных снабжен средством охлаждения для обеспечения рассеивания тепла, выделяемого ИТ-оборудованием.

Согласно предшествующему уровню техники имеются различные здания центров обработки данных, предназначенные для размещения большого количества стоек, каждая из которых содержит объем для размещения ИТ-оборудования.

Обычные центры данных чаще всего представляют собой здания, которые содержат съемный настил для компьютерной инфраструктуры, на котором обычно размещены корпуса 19-дюймовых (48,26 см) стоек. В обычных центрах данных охлаждение до сих пор осуществляют холодным воздухом, который нагнетают в съемные настилы, имеющие отверстия в надлежащих местах перед стойками. Таким способом холодный воздух подают в отверстия для впуска воздуха компьютерных стоек. Для этой конструкции обычно требуется концепция направляемых потоков воздуха, в соответствии с которой холодный воздух подают в стойки, а тепло удаляют из ИТ-оборудования.

В международной заявке WO2010/000440 раскрыта типичная структура здания центра обработки данных из предшествующего уровня техники, показанная на фигуре 1 заявки. Эта обычная структура имеет несколько недостатков, поскольку одиночные стойки выполнены как закрытые стойки и поток воздуха через соответствующие стойки необходимо измерять и регулировать, чтобы исключать нагнетание излишних количеств холодного воздуха из холодного прохода между рядами стоек. Существуют различные концепции, позволяющие осуществлять регулирование потока воздуха в холодный проход так, чтобы вентиляторы, создающие поток воздуха, работали при наименьшей возможной мощности. Горячий воздух, образуемый оборудованием внутри стоек, подают обратно в теплообменники, расположенные где-нибудь в другом месте здания центра обработки данных. Нагретый воздух охлаждают и опять используют его или используют свежий воздух для создания потока холодного воздуха.

Из предшествующего уровня техники, например из международной заявки WO2010/000440, известно использование охлаждаемых водой стоек для центров обработки данных с высокой плотностью. Как раскрыто в WO2010/000440, в предшествующем уровне техники тепло электронного оборудования переносится к охлаждающей воде посредством теплообменников, установленных в стойках или в проходах. В дополнение к этому в предшествующем уровне техники используют непосредственное охлаждение водой электронного оборудования, установленного в стойках.

Помимо типичной структуры традиционного здания центра обработки данных в WO2010/000440 раскрыта новая, энергетически эффективная архитектура многоэтажного компьютерного центра обработки данных с использованием жидких охлаждающих сред для рассеивания тепла, выделяемого ИТ-оборудованием. Концепция так называемой зеленой информационной технологии, представленная в WO2010/000440, позволяет снижать потребление электроэнергии при охлаждении обычных центров обработки данных, для которых часто необходимо до 50% или даже больше электроэнергии, потребляемой при охлаждении. Новая концепция охлаждения согласно WO2010/000440 позволяет иметь центры данных, для охлаждения которых требуется меньше чем 10% потребляемой ими электроэнергии (частная эффективность использования энергии больше 1,1).

Стационарный многоэтажный компьютерный центр обработки данных согласно WO2010/000440 в какой-то степени стал образцом для более поздних концепций зеленой информационной технологии, для последующего постоянного совершенствования на пути к энергетически эффективному центру данных.

Однако для стационарных компьютерных центров обработки данных, раскрытых в WO2010/000440, требуется постоянное энергоснабжение и поэтому их рассматривают как объекты долгосрочных инвестиций. Кроме того, мобильные центры данных становятся все более и более привлекательными, поскольку контейнер такого мобильного центра обработки данных может быть легко установлен неподалеку и содержит собственную инфраструктуру, так что его можно подключать к сети, когда стационарные компьютерные центры данных являются недостаточно крупными, и/или он должен иметься только временно.

Конструкция центров обработки данных, мобильных или стационарных, является предметом постоянного усовершенствования для оптимизации затрат на охлаждение ИТ-оборудования. Наряду с конструкцией способы обеспечения работы такого центра обработки данных позволяют дополнительно осуществлять усовершенствования, чтобы достигать оптимизированного энергопотребления при охлаждении.

В этом изобретении предложен такой способ обеспечения работы стационарного или мобильного центра обработки данных.

Поэтому настоящее изобретение относится к способу обеспечения работы центра обработки данных, содержащему:

(i) здание для размещения большого количества стоек (202), при этом каждая стойка представляет собой открытую стойку, содержащую ИТ-оборудование,

(ii) стойки (202) представляют собой открытые стойки, содержащие ИТ-оборудование (200),

(iii) стойки (202) содержат теплообменное средство (206, 207), выполненное с возможностью переноса тепла, выделяемого ИТ-оборудованием, к охлаждающей среде, при этом указанное теплообменное средство является элементом стоек или элементом, прикрепленным к стойкам,

(iv) по меньшей мере один первый контур (203/204) охлаждения, при этом указанный контур охлаждения представляет собой замкнутый контур охлаждения, который выполнен с возможностью снабжения теплообменного средства (206, 207) стоек (202) охлаждающей средой и также выполнен с возможностью перемещения нагретого охладителя из теплообменного средства (206, 207) стоек (202) с помощью обратного потока контура охлаждения,

(v) указанный первый контур (203/204) охлаждения соединен с источником, создающим холод, при этом указанный источник расположен вне помещения, содержащего большое количество стоек,

(vi) ИТ-оборудование (200) расположено в соответствующих стойках, имеющих активные средства, предпочтительно вентиляторы, для охлаждения частей ИТ-оборудования, предпочтительно центрального процессора, и/или графического процессора, и/или запоминающих аппаратных средств, при этом указанные активные средства создают поток (205) воздуха в стойке к теплообменному средству (206, 207), являющемуся элементом стоек или элементом, прикрепленным к стойкам,

(vii) указанные стойки (202) не имеют других активных средств, в частности вентиляторов, за исключением активных средств, содержащихся в упомянутом выше ИТ-оборудовании, для создания потока воздуха в стойке к теплообменному средству, являющемуся элементом стоек или элементом, прикрепленным к стойкам,

(viii) указанное здание для размещения большого количества стоек (202) не содержит других активных средств за исключением активных средств, содержащихся в упомянутом выше ИТ-оборудовании (200), для создания направленного потока воздуха,

(ix) по меньшей мере один вход электрической энергии,

(x) по меньшей мере одно средство для распределения электрической энергии с входа электрической энергии по отдельным стойкам, позволяющее иметь резервные источники питания в каждой стойке,

содержащий признаки, в соответствии с которыми

(а) подают охлаждающую среду из источника, создающего холод, к теплообменному средству (206, 207) стоек (202) в первом контуре охлаждения, при этом входной поток указанной охлаждающей среды входит в теплообменное средство (206, 207), имея температуру на от 1 K до 5 K, предпочтительно на от 1 K до 3 K, наиболее предпочтительно на от 1 K до 2 K ниже температуры обратного потока охлаждающей среды, выходящей из теплообменного средства (206, 207) стоек (202),

(b) регулируют поток охлаждающей среды в первом контуре (203, 204) охлаждения, который выполняют с возможностью снабжения теплообменного средства (206, 207) стоек (202), для поддержания температуры охлаждающей среды, входящей в теплообменное средство (206, 207) стоек (202), (входного потока), имеющей температуру на от 1 K до 5 K, предпочтительно на от 1 K до 3 K, более предпочтительно на от 1 K до 2 K ниже температуры обратного потока охлаждающей среды, выходящей из теплообменного средства (206, 207) стоек (202),

(с) перемещают нагретую охлаждающую среду, уходящую из теплообменного средства (206, 207) стоек (202), (обратный поток), к источнику, создающему холод, при этом указанный источник располагают за пределами помещения, содержащего большое количество стоек, для удаления тепла из нагретой охлаждающей среды с достижением температуры на от 1 K до 5 K, предпочтительно на от 1 K до 3 K, наиболее предпочтительно на от 1 K до 2 K ниже температуры обратного потока охлаждающей среды, и возвращают охлаждающую среду в по меньшей мере один первый контур охлаждения.

В настоящем изобретении предложен способ обеспечения работы центра обработки данных, в котором исключена необходимость направления охлаждающего воздуха по всем стойкам для создания холодного прохода в центре обработки данных. В упомянутом выше ИТ-оборудовании содержатся только активные средства, обычно вентиляторы, которые создают поток (205) воздуха в отдельной стойке к теплообменному средству соответствующей стойки. Мощность этих активных средств, таких как вентиляторы, встроенные в ИТ-оборудование, обычно не превышает 10% электрической мощности установленного и работающего ИТ-оборудования.

Все же в настоящем изобретении можно использовать неосновные активные средства, которые вносят небольшой вклад в поток (205) воздуха в стойке, например, другие вентиляторы помимо вентиляторов, содержащихся в упомянутом выше ИТ-оборудовании. Такой неосновной вклад такого дополнительного неосновного активного средства соответствует самое большее 10% потока (205) воздуха, создаваемого активными средствами, содержащимися в упомянутом выше ИТ-оборудовании.

В настоящем изобретении предложен способ обеспечения работы центра обработки данных, содержащего стойки для размещения ИТ-оборудования. Такое ИТ-оборудование включает в себя все электронное оборудование, используемое вместе с ИТ-оборудованием, которое выделяет тепло во время работы.

В настоящем изобретении предложен способ, в котором при работе по меньшей мере одного контура охлаждения охлаждающая среда подается в центр обработки данных для охлаждения. В настоящем изобретении температура охлаждающей среды, входящей в центр обработки данных, и температура охлаждающей среды, входящей в теплообменное средство (206, 207), почти равны, и это означает, что температура охлаждающей среды, входящей в центр обработки данных, самое большее на 0,2 K ниже температуры охлаждающей среды, входящей в теплообменное средство (206, 207).

Согласно предпочтительному варианту осуществления настоящего изобретения предложен способ обеспечения работы центра обработки данных, в котором удельная мощность ИТ-оборудования в стойках составляет по меньшей мере 5 кВт (электрических) на стойку, более предпочтительно по меньшей мере 8 кВт (электрических) на стойку, наиболее предпочтительно по меньшей мере 10 кВт (электрических) на стойку. Верхний предел удельной мощности на стойку по большей части ограничен пространством, имеющимся внутри стойки. Поэтому верхний предел по существу не ограничен и обычно может достигать 1 кВт или 1,5 кВт на единицу высоты стойки. Для типичной стойки удельная мощность на стойку составляет 42 кВт (электрических) на 42 единицы высоты стойки.

В настоящем изобретении исключена необходимость во временных настилах, используемых в такой ситуации. Кроме того, изобретение направлено на оптимизацию потребности в электроэнергии и затрат, а также на достижение более плотной компоновки стоек для минимизации необходимой длины сетевых кабелей и повышения пропускной способности средств связи системы.

Предложенный способ обеспечения работы центра обработки данных позволяет иметь компактную структуру центра обработки данных, имеющую более значительные, масштабируемые объемы и повышенную объемную плотность. Предложенный способ обеспечения работы центра обработки данных можно использовать для скомпонованных в двух измерениях центров обработки данных, в которых стойки расположены на одном уровне, или для скомпонованных в трех измерениях центров обработки данных, в которых стойки расположены в центре обработки данных на более чем одном уровне.

Преимущество предложенного способа обеспечения работы центра обработки данных возрастает по мере повышения удельной мощности ИТ-оборудования, установленного в стойках. Такая повышенная плотность компонентов или плотность размещения ИТ-оборудования, такого как компьютерное аппаратное обеспечение, для которого создают отвод тепла, при котором объемная скорость теплорассеяния может быть 1 кВт/м³ и больше, предпочтительно 1,5 кВт/м³ и больше, более предпочтительно 2 кВт/м³ и больше, наиболее предпочтительно 3 кВт/м³ и больше, не может быть достигнута при использовании обычных систем воздушного охлаждения, которые в настоящее время считаются современными системами. Упомянутая выше объемная скорость теплорассеяния относится к центру данных, имеющему предельную высоту 2,5 м и рабочую площадь, используемую для центра обработки данных. Рабочая площадь центра обработки данных является площадью, которая занята стойками, содержащими ИТ-оборудование, за исключением любого дополнительного пространства для технической инфраструктуры здания, такого как помещения для трансформаторов, силовых генераторов, батарей, пространство для систем пожаротушения, складская площадка и т.п. Согласно предпочтительному варианту осуществления изобретения стойка имеет глубину 120 см и ширину 70 см. Стойки устанавливают с образованием расстояния 120 см между рядами стоек. Поэтому согласно предпочтительному варианту осуществления стойка занимает 1,7 м² площади пола и 4,2 м² рабочей площади центра обработки данных. При более плотных конфигурациях, например, при ширине стоек 60 см, возможны меньшие расстояния.

Таким образом, рабочая площадь центра обработки данных, используемая применительно к настоящему изобретению, является площадью, используемой для размещения стоек ИТ-оборудования. Она представляет собой полную площадь центра обработки данных за вычетом площади, используемой для технической инфраструктуры (источника питания, системы охлаждения, источника бесперебойного питания, батарей, генераторов, системы управления пожаротушением и прочего), для инфраструктуры доступа (незащищенных и защищенных зон), площади для подготовки и хранения ИТ-оборудования, а также помещений для контроля ИТ-оборудования и другой площади, необходимой для управления центром данных.

По практическим соображениям объемная скорость теплорассеяния в типовых системах воздушного охлаждения обычно не превышает 6 кВт на стойку, что соответствует диапазону от около 2,5 до около 3 кВт/м³ и от около 0,7 до около 0,9 кВт/м³ при использовании упомянутых выше предположений.

Все удельные мощности на стойку и другие единицы, получаемые из них, относятся к электрической мощности ИТ-оборудования, установленного и работающего в соответствующей стойке.

Как пояснялось выше, преимущество предложенного способа обеспечения работы центра обработки данных возрастает по мере повышения удельной мощности ИТ-оборудования, установленного и работающего в стойках. В частности, для центра обработки данных, имеющего стойки с установленным и работающим ИТ-оборудованием, задают объемную скорость теплорассеяния, которая соответствует по меньшей мере приблизительно 5 кВт/м², предпочтительно по меньшей мере приблизительно 10 кВт/м², наиболее предпочтительно по меньшей мере приблизительно 20 кВт/м², при этом в случае использования упомянутой выше рабочей площади помещения центра обработки данных, содержащего стойки, обеспечивается весьма эффективное охлаждение.

В предложенном способе обеспечения работы центра обработки данных реализованы открытые стойки с пассивными теплообменниками, при этом указанные теплообменные средства являются элементом стоек или элементом, прикрепленным к стойкам, которые выполнены таким образом, что наибольшая часть нагретого воздуха, в наилучшем варианте весь нагретый воздух, ИТ-оборудования, установленного внутри стойки, охлаждается обратно до заданной комнатной температуры. Предпочтительно, чтобы теплообменники были расположены на задней стороне стойки. Действительное положение теплообменников определяется направлением потока (205) воздуха, создаваемого активными средствами ИТ-оборудования. Согласно предпочтительному варианту осуществления изобретения угол падения потока воздуха, формируемого к поверхности теплообменника, составляет самое большее 75°, более предпочтительно самое большее 60°, еще более предпочтительно самое большее 45°, наиболее предпочтительно составляет от 0° до 20°.

Конструкция пассивного теплообменника, являющегося элементом стоек или элементом, прикрепленным к стойкам, предпочтительно расположенным на задней стороне стоек, также является важной, поскольку в случае образования очень высокого противодавления относительно естественного потока воздуха общая эффективность охлаждения снижается. Исключение такого противодавления внутри стойки обеспечивает многочисленные преимущества. Первое преимущество заключается в том, что в стойку можно устанавливать разнородное оборудование, поскольку низкое противодавление не может отрицательно влиять на поток воздуха другого ИТ-оборудования. Например, из сервера большой мощности, установленного ниже сервера малой мощности, не будет направляться горячий уходящий воздух обратно в сервер малой мощности при условии небольшого противодавления внутри стойки. Второе преимущество заключается в том, что имеются небольшие требования относительно заделки кабелей, проходящих через стойку. Для обычных прорезей или отверстий под кабель необходимы самоуплотняющиеся вставки, такие как, например, уплотнения KoldLok®. Использование таких самоуплотняющихся вставок в настоящем изобретении является возможным, но необязательным. Вследствие исключения используемого в настоящее время воздушного охлаждения и вследствие того, что направленные потоки воздуха в центре обработки данных не требуются, в настоящем изобретении возможная величина утечки является очень ограниченной.

Комнатная температура в помещении, содержащем большое количество стоек, соответствует выпуску холодного воздуха из пассивных теплообменников, являющихся элементом стоек или элементом, прикрепленным к стойкам, и поэтому связана с температурой охлаждающей среды. Предпочтительно, чтобы комнатная температура в помещении, содержащем большое количество стоек была около +2 K, более предпочтительно +1 K, еще более предпочтительно +0,5 K относительно температуры обратного потока охлаждающей среды в первом контуре охлаждения, наиболее предпочтительно приблизительно такая же, как температура обратного потока охлаждающей среды в первом контуре охлаждения. Настоящий способ, обеспечивающий высокоэффективное охлаждение стоек, позволяет иметь более высокую комнатную температуру без опасности образования тепловых петель где-либо в центре обработки данных. Зона горячего воздуха находится только внутри стоек.

Обратное охлаждение можно реализовать с помощью упомянутого выше источника холода, в том числе с помощью, но без ограничения ими, внешних источников холодной воды, такой как подземная или поверхностная вода, испарительного охлаждения, которое действует на основании принципа испарения, включая испарительные охладительные башни с открытыми охладительными башнями и без них, гибридных охладителей, сухих охладителей и т.п., или любых других средств из предшествующего уровня техники, включая охладители сжатия.

Наилучшее охлаждение и экономическая эффективность достигаются при использовании противотока, искусственной тяги, мокрых охладительных башен. В соответствии с принципом охлаждения в таких охладительных башнях используется теплота испарения воды при испарении воды. Например, для охлаждения центра обработки данных мощностью 1 МВт необходимо каждый час испарять около 1,7 м³ охлаждающей среды, такой как вода. Охладительная башня является полностью пассивной, если не считать вентилятора, который обычно работает только в случае, когда наружная температура воздуха превышает 15°С. Наименьшая достигаемая температура при использовании открытых мокрых охладителей соответствует температуре по мокрому термометру. Ее измеряют психометрически, покрывая термометр влажной тканью. Использованием испарительных охладителей гарантируется, что наименьшая температура источника воды будет выше точки росы. Поэтому отсутствует опасность конденсации где-либо внутри центра обработки данных. Источники воды не изолируют.

Согласно предпочтительному варианту осуществления этого изобретения в рабочем способе используют воду в качестве холодной охлаждающей среды, при этом охлаждающая среда, входящая в центр обработки данных для охлаждения через посредство по меньшей мере одного контура охлаждения, имеет температуру, почти равную температуре на входе теплообменного средства (206, 207). В данном случае «почти равную» означает, что температура охлаждающей среды, входящей в центр обработки данных, самое большее на 0,2 K ниже температуры охлаждающей среды, входящей в теплообменное средство (206, 207).

Согласно предпочтительному варианту осуществления настоящий способ работает при температуре обратного потока охлаждающей среды в первом контуре охлаждения, зависящей от конкретной удельной мощности ИТ-оборудования, установленного и работающего в стойках. При удельных мощностях до 10 кВт (электрических) на стойку температура обратного потока охлаждающей среды в первом контуре охлаждения самое большее на 3 K, предпочтительно самое большее на 2 K, наиболее предпочтительно самое большее на 1 K выше температуры, создаваемой источником холода, входящего в центр обработки данных, а при удельных мощностях по меньшей мере 10 кВт (электрических) на стойку температура обратного потока охлаждающей среды в первом контуре охлаждения самое большее на 4 K, предпочтительно самое большее на 3 K выше температуры, создаваемой источником холода.

Кроме того, упомянутое выше различие между температурами обратного потока охлаждающей среды в первом контуре охлаждения и входного потока охлаждающей среды может быть больше при пониженных расходах охлаждающей среды. Посредством этого потребление электроэнергии соответствующими насосами, работающими в контуре охлаждения, снижается в более холодное время года или в периоды низких наружных температур, обычно при наружных температурах ниже 17°С, когда система/источник обратного охлаждения создает/обеспечивает достаточно низкую температуру/холодное состояние охлаждающей среды без дополнительных расходов.

Обычно стойки, используемые в настоящем способе, представляют собой 19-дюймовые (48,26 см) стоечные корпуса. Согласно предпочтительному варианту осуществления стойки представляют собой высокие стойки, которые являются особенно сберегающими пространство. Стойки располагают на полу здания, но не обязательно на временном настиле. Трубы и/или кабельные лотки монтируют над стойками. В случае применения временного настила при модернизации существующего центра обработки данных такой временный настил можно использовать для прокладки труб. Отверстия теплообменника могут быть соединены с контуром охлаждения снизу и сверху. Согласно дальнейшему предпочтительному варианту осуществления, когда центр обработки данных представляет собой мобильный центр обработки данных, стойки соединяют с окружающим замкнутым объемом через посредство поглощающих удары средств, в результате чего стойки и любые связанные/соединенные с ними средства, подобные теплообменным средствам и охлаждающим трубам, защищаются от вибрации и ударов во время транспортировки и сборки.

Термин «открытые» применительно к представленным стойкам означает, что передняя сторона стоек открыта и позволяет поступать воздуху помещения к ИТ-оборудованию внутри стойки при отсутствии сопротивления потоку. Кроме того, может иметься передняя дверца с отверстиями, например решетчатая дверца, которая позволяет воздуху протекать без значительного сопротивления потоку. Такая решетчатая дверца имеется в предпочтительном варианте осуществления, поскольку она позволяет выполнять измерение температуры притока воздуха. Согласно этому предпочтительному варианту осуществления выполняют два измерения, одно обычно на одной трети высоты решетчатой дверцы и другое приблизительно на двух третях высоты решетчатой дверцы. Концепция открытой стойки, используемая в настоящем способе, позволяет впускать комнатный воздух и выпускать такой воздух с отбором тепла, которое выделяется ИТ-оборудованием. Согласно предпочтительному варианту осуществления воздух, входящий в отрытую стойку, и воздух, выходящий из ИТ-оборудования к теплообменному средству (206, 207), разделяются средством разъединения внутри стойки, при этом воздух, выходящий из ИТ-оборудования к теплообменному средству (206, 207), отделяется от воздуха, входящего в открытую стойку, для гарантии, что нагретый воздух не будет просачиваться в ИТ-оборудование.

Другое преимущество стоечного теплообменного средства заключается в том, что сами стойки не держатся закрытыми, и в том, что поток воздуха в стойки и из них больше не нужно регулировать. Дальнейшим преимуществом является то, что внутри центра обработки данных нет дополнительных кондиционеров воздуха, поскольку функция охлаждения полностью возложена на теплообменные устройства стоек.

Стойки, используемые в настоящем изобретении, не имеют никаких других активных средств, в частности вентиляторов, для создания в стойке потока воздуха к теплообменному средству, являющемуся элементом стоек или элементом, прикрепленным к стойкам. Только ИТ-оборудование, расположенное в соответствующих стойках, имеет активные средства, предпочтительно вентиляторы, для охлаждения частей ИТ-оборудования, предпочтительно центрального процессора, и/или графического процессора, и/или запоминающих аппаратных средств, и только указанные активные средства, охлаждающие части ИТ-оборудования, создающие поток воздуха в стойке к теплообменному средству, являются элементом стоек или элементом, прикрепленным к стойкам.

В настоящем способе обеспечения работы центра обработки данных для центра обработки данных не требуются временный настил и компоновки или схемы холодных проходов.

Наиболее предпочтительными являются пассивные теплообменники, имеющие глубину от около 50 до около 120 мм, которые могут создавать очень небольшое противодавление потоку воздуха. Поэтому горячий воздух, уходящий из ИТ-оборудования в стойках, может весь сам по себе проходить к теплообменнику.

Как уже упоминалось, удельная мощность современных компьютеров может достигать 1 кВт или даже больше на единицу высоты оборудования, установленного в стойке. Активные средства охлаждения ИТ-оборудования, установленные в стойке, такие как вентиляторы, для охлаждения частей ИТ-оборудования, предпочтительно центрального процессора, и/или графического процессора, или запоминающих аппаратных средств, обеспечивают надлежащие скорости потоков воздуха для удаления всего тепла из ИТ-оборудования. Скорость потока воздуха зависит от разности ΔТ температур воздуха, входящего в стойку, и воздуха, уходящего из ИТ-оборудования. Типичная разность ΔТ температур составляет от 5 до 30 K. При такой разности температур требуется объемный поток воздуха от 100 до 600 м³/(ч·кВт), который соответствует по меньшей мере 0,5 м/с, предпочтительно по меньшей мере 0,8 м/с, особенно предпочтительно по меньшей мере 1,1 м/с.

ИТ-оборудование из предшествующего уровня техники рассчитано на работу при разности температур между холодным и горячим воздухом около 10 K. Поэтому скорость потока воздуха внутри 19-дюймовой (48,26 см) стойки, имеющей 42 единицы высоты, является линейной функцией тепловой мощности, выделяемой электронным оборудованием, и средней разности температур воздуха, создаваемой оборудованием. Следовательно, для работы при разности 10 K и наличии установленного ИТ-оборудования, соответствующего электрической мощности 20 кВт, объемный поток воздуха 6000 м³/ч, который соответствует скорости потока воздуха 2,1 м/с, для такой 19-дюймовой (48,26 см) стойки, имеющей 42 единицы высоты, является достаточным. В настоящем способе такая скорость потока воздуха создается только активными средствами охлаждения ИТ-оборудования, установленными в стойке из расчета на единицу высоты, такими как вентиляторы, для охлаждения частей ИТ-оборудования, предпочтительно центрального процессора, и/или графического процессора, и/или запоминающих аппаратных средств.

В настоящем способе обеспечения работы центра обработки данных осуществляется перенос тепла, выделяемого ИТ-оборудованием, установленным внутри стойки, к охлаждающей среде без каких либо дополнительных активных элементов.

В случае неполного оснащения стоек ИТ-оборудованием выгодно закрывать большие открытые щели, например превышающие 3 единицы высоты, внутри стойки, чтобы исключать уход горячего воздуха в стойке к задней стороне. Небольшие отверстия для прокладки кабелей не являются проблемой вследствие низкого давления внутри стойки.

Предпочтительно, чтобы настоящим способом обеспечения работы центра обработки данных осуществлялось эффективное охлаждение центра обработки данных, в котором удельная мощность ИТ-оборудования в стойках составляет по меньшей мере 5 кВт (электрических) на стойку, более предпочтительно по меньшей мере 8 кВт (электрических) на стойку, наиболее предпочтительно по меньшей мере 10 кВт (электрических) на стойку. Верхний предел удельной мощности на стойку большей частью ограничен доступным объемом для размещения. Поэтому верхний предел обычно достигает 1 кВт на единицу высоты в стойке, что обычно составляет до 42 кВт (электрических) на стойку.

Стойки, используемые в настоящем изобретении, обычно имеют размеры 1,2 м×0,7 м×2 м и предпочтительно, чтобы они были расположены передней стороной к задней стороне для наибольшей эффективности и задней стороной к задней стороне для наибольшего резервирования.

В то же время в наибольшей части ИТ-оборудования, такого как серверы, реализуется поток воздуха спереди назад и имеются исключения из этого правила. Например, в тепловых переключателях Cisco Nexus холодный воздух принимается на передней и задней сторонах шасси, тогда как горячий воздух выпускается на левой и задней сторонах системы. Кроме того для этих тепловых переключателей не требуются стойки шириной 1 м. Согласно предпочтительному варианту осуществления этого изобретения такие требования к потоку воздуха удовлетворяются при использовании стоек шириной 1 м, при этом слева спереди и справа сзади стойка герметизирована. Подобные конфигурации возможны для ИТ-оборудования при использовании сторон шасси для впуска воздуха. Боковые отверстия в стойках не распространяются на всю высоту стойки. Возможны специальные отсеки для тепловых переключателей.

Кроме того, возможно разделение потока воздуха по горизонтали на задней стороне стойки, например, для очень точного определения источников возможного задымления и для избирательного выключения соответствующих серверов.

Согласно предпочтительному варианту осуществления изобретения возможны многие пассивные направляющие воздух устройства, выполненные из листового металла, для направления холодного или горячего воздуха и для потенциального разделения зон внутри стойки. Такие направляющие воздух устройства являются полностью пассивными и не оказывают отрицательного влияния на эффективность охлаждения системы. Следует отметить, что такие направляющие воздух устройства обычно не требуются в предпочтительном варианте осуществления изобретения и используются только для установки существующих устройств в стойки.

В настоящем способе обеспечения работы центра обработки данных реализованы открытые стойки с пассивными теплообменниками, являющимися элементом стоек или элементом, прикрепленным к стойке, предпочтительно в качестве задних дверец, которые выполнены таким образом, что наибольшая часть нагретого воздуха, лучше всего весь нагретый воздух из ИТ-оборудования, установленного внутри стойки, охлаждается обратно до заданной комнатной температуры.

Отдельный пассивный теплообменник является элементом стоек или элементом, прикрепленным к стойкам, и предпочтительно, чтобы он был расположен на задней стороне отдельной стойки и мог передавать все тепло, выделяемое ИТ-оборудованием, установленным и работающим внутри стойки, к охлаждающей среде.

Согласно предпочтительному варианту осуществления изобретения производительность теплообменников определяется свойством охлаждающей среды, входным потоком охладителя и разностью температур входного потока охладителя и выходного потока охладителя. В настоящем способе охлаждающая способность суммы всех установленных теплообменных средств соответствует теплу, выделяемому ИТ-оборудованием, установленным и работающим в центре обработки данных. Таким образом, настоящим изобретением гарантируется, что из тепла, выделяемого ИТ-оборудованием, незначительное количество будет или не будет вообще выводиться в помещение, содержащее большое количество стоек, обычно относящихся к центру данных.

Настоящим изобретением обеспечивается работа центра обработки данных, в соответствии с которой воздух, входящий в стойки, обычно на передней стороне, и воздух, уходящий из стоек, обычно на задней стороне, через теплообменное средство, имеют одинаковую или по существу одинаковую температуру и по существу все выделяемое тепло выводится теплообменником и охлаждающей средой. Предпочтительно, чтобы температура воздуха, входящего в стойки, и температура воздуха, уходящего из стоек, обычно на задней стороне, через теплообменное средство, различались менее чем на +2 K, более предпочтительно менее чем на +1 K, еще более предпочтительно менее чем на +0,5 K, наиболее предпочтительно, чтобы они были приблизительно одинаковыми. Поэтому тепло не отводится или тепло по существу не отводится в помещение/здание, содержащее стойки центра обработки данных.

В результате в настоящем способе, обеспечивающем высокоэффективное охлаждение стоек, допускаются более высокие комнатные температуры, поскольку отсутствует опасность тепловых петель где-либо в центре обработки данных. Зона горячего воздуха находится только внутри стоек.

В настоящем изобретении обеспечивается возможность непосредственного приема теплообменным средством горячего воздуха, образуемого ИТ-оборудованием внутри стойки, и изменения температуры этого горячего воздуха до заданной комнатной температуры путем простого переноса тепла к охлаждающей среде в транспортирующем трубопроводе. Таким способом можно исключать любой путь следования горячего воздуха или образование любых потоков воздуха внутри центра обработки данных. С учетом этого расстояние, на которое проходит горячий или нагретый воздух, может быть уменьшено до минимального. Необходимо перемещать нагретый воздух только внутри стойки, в частности из ИТ-оборудования к теплообменному средству. Таким образом можно предотвращать любой трудный для контроля турбулентный поток воздуха. В дополнение к этому в настоящем изобретении не требуется высокоинтенсивный поток холодного воздуха и исключаются проблемы, связанные с любой конденсацией влаги, имеющейся в таком воздухе. Следовательно, использование любых осушителей воздуха становится излишним.

В другом предпочтительном варианте осуществления изобретения теплообменные средства не содержат никаких активных средств, таких как вентиляторы, для направления нагретого/горячего воздуха из ИТ-оборудования к поверхности теплообменных средств или через теплообменные средства. Относительно слабый и ламинарный поток воздуха, получаемый от охлаждающих вентиляторов центрального процессора и/или графического процессора внутри конкретной стойки, позволяет исключить дополнительные вентиляторы и исключить всякое дополнительное потребление электроэнергии вентиляторами.

В настоящем способе обеспечения работы центра обработки данных используют пассивные теплообменники, имеющие низкое противодавление воздуха. Противодавление воздуха, создаваемое теплообменником, зависит от скорости потока воздуха. Предпочтительно, чтобы теплообменники, используемые в сочетании с настоящим способом, имели противодавление воздуха максимум 10 Па при скорости потока воздуха, соответствующей до 0,5 м/с, более предпочтительно максимум 16 Па при скорости потока воздуха, соответствующей до 0,8 м/с, наиболее предпочтительно максимум 20 Па при скорости потока воздуха, соответствующей до 1,1 м/с.

Упомянутые выше потоки воздуха и противодавление воздуха хорошо действуют при наличии ИТ-оборудования, установленного в стойках, которое обычно работает при разности температур холодного и горячего воздуха, составляющего около 10 K.

В настоящем способе используют систему с охлаждающей средой. Одна значительная проблема, связанная с центрами данных, заключается в возможности утечек, в частности воды, используемой в качестве охлаждающей среды.

Опасность утечек воды и степень повреждения, вызываемого утечками, соответствует давлению в системе водяного охлаждения. Поэтому дальнейшим аспектом настоящего способа является использование теплообменников, имеющих небольшое падение давления на теплообменнике.

В предложенном способе обеспечения работы центра обработки данных используют пассивные теплообменники, имеющие небольшое падение давления на теплообменнике.

Падение давления на теплообменнике зависит от объемного потока охлаждающей среды. Поэтому в настоящем изобретении предпочтительно, чтобы на пассивных теплообменниках, расположенных на задней стороне стоек, создавалось падение давления ниже 22 кПа при объемном потоке воды 3 м³/ч, предпочтительно ниже 54 кПа при 5 м³/ч в случае воды, наиболее предпочтительно ниже 200 кПа при 10 м³/ч в случае воды.

При работе со скоростью нагнетания воды ниже 5 м³/ч настоящий способ можно осуществлять ниже атмосферного давления охлаждающей среды, являющейся водой.

В настоящем способе обеспечения работы центра обработки данных требуется регулирование потока охлаждающей среды в первом контуре (205) охлаждения, который выполнен с возможностью снабжения теплообменного средства (206, 207) стоек (202), для поддержания температуры охлаждающей среды, входящей в теплообменное средство (206, 207) стоек (202), (входного потока), чтобы она имела температуру на от 1 K до 5 K, предпочтительно на от 1 K до 3 K, наиболее предпочтительно на от 1 K до 2 K ниже температуры обратного потока охлаждающей среды, выходящей из теплообменного средства (206, 207) стоек (202). Поэтому предпочтительно, чтобы расход охлаждающей среды, такой как вода, был от 0,9 м³/ч на 1 кВт мощности ИТ-оборудования, установленного и работающего при разности 1 K, и до 0,17 м³/ч на 1 кВт мощности ИТ-оборудования, установленного и работающего при разности 5 K.

Одной остающейся проблемой является возможное повышение мощности, создаваемое охлаждающими вентиляторами серверов вследствие противодавления в теплообменнике. Оно было исследовано путем определения полного потребления электроэнергии компьютерами внутри стойки при открывании и закрывании задней дверцы стойки. Измеряли полное потребление электроэнергии всеми серверами в стойке и ток питания одного выбранного вентилятора. Не было значительной разности в потреблении электроэнергии, когда открывали заднюю дверцу, главным образом вследствие низкого противодавления.

Предпочтительно, чтобы в каждой стойке были реализованы автономные блоки распределения электропитания, снабжающие электроэнергией все электрические компоненты внутри стойки, и блок мониторинга потребления электроэнергии и электрических свойств, в частности при больших удельных мощностях, используемый, например, при научных применениях. Эта функциональная возможность обеспечивается встроенным микроконтроллером. Кроме того, он измеряет температуры подаваемого и выходящего воздуха и охлаждающей воды. В каждой стойке также реализуется независимый датчик дыма. В случае появления сигнала о наличии дыма или о перегреве серверы автоматически выключаются. После превышения заданных порогов блок распределения электропитания прежде всего отключает электроэнергию. Такие меры безопасности являются важными для каждой стойки, поскольку в случае отказа системы охлаждения при большой удельной мощности будет быстро возрастать температура.

Теплообменные средства стоек соединены с контуром охлаждения, в котором охладительная среда, предпочтительно жидкий охладитель, подается по трубопроводной системе к каждому из теплообменных средств.

Согласно предпочтительному варианту осуществления изобретения контур охлаждения содержит трубопроводную систему для вывода охладителя. Использование жидкого охладителя, такого как вода и другие подходящие охлаждающие жидкости, особенно с более высокими теплоемкостями по сравнению с воздухом, выгодно по многим причинам. Во-первых, по сравнению с газообразными носителями можно передавать и переносить тепло в намного больших суммарных количествах. Во-вторых, по сравнению с турбулентным или ламинарным потоком газообразного охладителя можно намного легче регулировать и контролировать поток и перенос охладителя.

Согласно еще одному варианту осуществления изобретения давление жидкого охладителя можно задавать ниже 2 бар (0,2 МПа), чтобы в случае утечки происходил минимальный выброс жидкости и жидкость утечки протекала вдоль контура охлаждения. Согласно такому варианту осуществления контур охлаждения может иметь выемку/сток для сбора любой такой жидкости утечки, вследствие чего будет предотвращаться возникновение контакта любой такой жидкости утечки с аппаратными средствами компьютеров. Трубопровод расположен позади задней дверцы стойки, которая обеспечивает защиту ИТ-оборудования от сливов воды, обусловленных мелкоячеистой структурой теплообменника. В обоих случаях любая утечка в трубопроводной системе может быть обнаружена при мониторинге давления в трубопроводной системе и подан сигнал тревоги, что позволит принять соответствующие меры против такой утечки, например, остановить насосы, чтобы снизить давление и прекратить продолжающееся поступление воды к месту утечки.

Кроме того, не требуется изоляция трубопроводной системы, поскольку комнатная температура соответствует температуре обратной холодной воды, которая значительно выше, чем точка росы.

Как упоминалось выше, центр обработки данных имеет по меньшей мере один источник, создающий холод, соединенный непосредственно или опосредованно с первым контуром охлаждения.

Наиболее часто источником, создающим холод, является по меньшей мере одна охладительная башня, работающая при противотоке, при искусственной тяге, мокрая охладительная башня, в которой вода распыляется с верхней части колонны и охлаждается при испарении некоторого количества воды, и вследствие этого собирается внизу. Чтобы исключить загрязнение первого контура охлаждения, источник, создающий холод, можно развязать посредством второго контура охлаждения. Такое развязывание обычно достигается посредством избыточных теплообменников, которые передают тепло из первого контура охлаждения во второй контур охлаждения.

При такой реализации любое загрязнение второго контура охлаждения, непосредственно соединенного с источником холода, который может быть загрязнен воздушными частицами, такими как пыль, изолировано от первого контура охлаждения, проходящего внутри центра обработки данных. Насосы, необходимые для нагнетания охлаждающей среды, можно располагать внутри центра обработки данных или за пределами центра обработки данных.

В зависимости от климатических условий в некоторых географических районах общие водяные охладители могут создавать проблемы, например, в холодные/морозные периоды. В таких случаях предпочтительно использовать так называемые гибридные охладительные башни. Наиболее часто такие гибридные охладители представляют собой пластинчатый теплообменник, через который нагретый охладитель протекает и охлаждается окружающим воздухом. Один пример гибридного охладителя показан в патенте США №7864530. Для повышения охлаждающей способности летом можно распылять воду на поверхность пластинчатого теплообменника и использовать испарительное охлаждение такой водой. Поскольку эти гибридные охладительные башни включают в себя теплообменник, дополнительные теплообменники не требуются. Однако для охлаждающей воды могут требоваться добавки, такие как гликоль, для предотвращения замерзания ее.

Кроме того, источник, создающий холод, имеет средства для перемещения жидкого охладителя к входу контура охлаждения. Такими средствами обычно являются трубы, предпочтительно гибкие, изготовленные из различных материалов, таких как сталь, нержавеющая сталь и/или синтетические органические полимерные материалы.

Согласно еще одному варианту осуществления настоящего изобретения центр обработки данных расположен в модуле, таком как контейнер, или центр обработки данных образован с использованием стоек, предварительно установленных на опорных рамах, при этом предпочтительно, чтобы они были рамами стандартных размеров. Этим обеспечивается предварительная установка/предварительная сборка при образовании центров обработки данных или мобильных центров обработки данных. Предпочтительно, чтобы такие рамы стандартных размеров, модули или контейнеры имели типичные стандартные размеры обычного контейнера, удовлетворяющего требованиям Международной организации по стандартизации, который можно перевозить, погружать и разгружать, эффективно штабелировать и перевозить на большие расстояния на судне, по железной дороге, тягачами или самолетами. Наиболее предпочтительны модули/контейнеры длиной 20 футов (6,1 м), 40 футов (12,2 м), 45 футов (13,7 м), 48 футов (14,6 м) и 53 фута (16,2 м). Ширина обычно составляет от 10 футов (3,0 м) до 8 футов (2,4 м) и высота обычно составляет 9 футов 6 дюймов (2,9 м).

В предложенном способе обеспечения работы центра обработки данных охлаждающая среда из источника, создающего холод, подается к теплообменному средству (206, 207) стоек (202) в первом контуре охлаждения, при этом указанный входной поток охлаждающей среды имеет температуру на от 1 K до 5 K, предпочтительно на от 1 K до 3 K, наиболее предпочтительно на от 1 K до 3K, ниже температуры обратного потока охлаждающей среды, выходящего из теплообменного средства (206, 207) стоек (202).

Предпочтительно регулировать температуру охлаждающей среды, входящей в теплообменное средство, чтобы она была на от 0,1 до 0,5 K в расчете на 1 кВт мощности ИТ-оборудования, установленного и работающего в стойке, не превышающей 10 кВт на стойку, ниже температуры обратного потока охлаждающей среды, выходящей из теплообменного средства (206, 207) стоек (202).

Предпочтительно регулировать температуру охлаждающей среды, входящей в теплообменное средство, чтобы она была на от 0,1 до 0,2 K в расчете на 1 кВт мощности ИТ-оборудования, установленного и работающего в стойке, составляющей от 10 кВт до 25 кВт на стойку, ниже температуры обратного потока охлаждающей среды, выходящей из теплообменного средства (206, 207) стоек (202).

Предпочтительно регулировать температуру охлаждающей среды, входящей в теплообменное средство, чтобы она была на от 0,1 до 0,125 K в расчете на 1 кВт мощности ИТ-оборудования, установленного и работающего в стойке, составляющей свыше 25 кВт на стойку, ниже температуры обратного потока охлаждающей среды, выходящей из теплообменного средства (206, 207) стоек (202).

Предложенный способ обеспечения работы центра обработки данных позволяет эффективно охлаждать центры данных. Например, самая низкая температура, достигаемая с помощью технологии обратного охлаждения из предшествующего уровня техники при использовании испарительного охлаждения, является температурой по мокрому термометру, которая в Европе едва ли достигает 22°С. Соответствующие температуры по мокрому термометру достигаются в локальных метеорологических службах. Обычно охлаждающая среда, в частности холодная вода, подается приблизительно на 2 K теплее по сравнению с температурой по мокрому термометру, что является теоретическим пределом. Согласно предпочтительному варианту осуществления изобретения теплообменник добавляет еще 2 K между вторым и первым контурами. Однако следует отметить, что эта разность температур является функцией только размера теплообменника и может быть оптимизирована по затратам. Например, при разности температур +1 K в первом контуре охлаждения (разность на выпуске и впуске теплообменника), которая соответствует расходу, например 9 м³/ч, воды в качестве охлаждающей среды и электрической мощности 10 кВт ИТ-оборудования, установленного и работающего внутри стоек, наименьшая температура охлаждающей среды, в частности холодной воды, возвращающейся из системы охлаждения, на 5 K выше температуры по мокрому термометру. Вследствие излучения теплых стоек возможна другая разность +1 K относительно комнатной температуры, когда из-за утечек теплого воздуха комнатная температура на 6 K выше, чем температура по мокрому термометру. Этот предел можно еще уменьшить путем повышения скорости нагнетания, но за счет финансовых затрат на более высокую мощность, потребляемую насосами. Однако следует учесть, что, например, в Германии температура по влажному термометру превышала 20°С в период с 2007 года по 2011 год в среднем в течение около 140 ч. Поэтому только небольшую часть времени насосы будут работать с высокой скоростью нагнетания и поэтому будет создаваться небольшая добавка к общему потреблению электроэнергии. При низких наружных температурах систему охлаждения следует регулировать для поддержания комнатной температуры выше 20°С.

Следует отметить, что в соответствии с нормами ТС 9.9 (2011) Американского общества инженеров по отоплению, охлаждению и кондиционированию и EN 300019-1-3, V2.3.2 (2009-07) Европейского института стандартизации в области связи в основном все коммерческие компьютерные системы и сетевые компоненты рассчитаны на работу до 35°С при почти постоянной работе. Многие поставщики анонсируют изменение даже этих количественных параметров в сторону более высоких температур, поскольку эффективность всех систем охлаждения возрастает с повышением комнатных температур.

Если при возврате температура охлаждающей среды, в частности холодной воды, достигает 30°С, ее можно использовать для подогрева здания, если в нем реализуется напольное или стенное отопление, без каких-либо тепловых насосов. Требуется только дополнительная электроэнергия насосу для перемещения воды по системе трубопроводов отопления внутри здания и для возможного направления ее к находящимся выше настилам. Летом напольное отопление можно соединять с источником холодной воды и следовательно, использовать для очень эффективного охлаждения здания, однако при условии удовлетворения дополнительных требований к охлаждению охладительными башнями.

Наиболее часто большую часть стоек или даже все стойки индивидуально соединяют с контуром охлаждения, которым обеспечивается эффективное средство для удаления и отвода тепла из аппаратных средств компьютеров.

Индивидуальное связывание каждой охлаждаемой стойки с контуром охлаждения при наличии соединения контура охлаждения с теплообменниками стоек, пригодными для удаления всего тепла, выделяемого аппаратными средствами компьютеров, обеспечивает дополнительное преимущество, заключающееся в том, что можно регулировать и контролировать охлаждающую способность и теплообмен индивидуально и отдельно для каждой отдельной стойки в структуре центра обработки данных. Охлаждение горячего воздуха исключительно в стойке делает возможной установку группы стоек с любой плотностью без необходимости создания конструкций для потоков воздуха, таких как холодные проходы или горячие проходы.

В предложенном настоящем изобретении можно использовать архитектуру так называемых открытых стоек, при которой отсутствует необходимость в герметичном уплотнении. Кроме того, структура таких открытых стоек облегчает доступ к ИТ-оборудованию, в частности к аппаратным средствам компьютеров внутри стойки, в случае возникновения каких-либо проблем или необходимости в техническом обслуживании. Вследствие низкого давления потока воздуха на задней стороне ИТ-оборудования стандартные отверстия для прокладки кабелей могут быть без труда закрыты.

Согласно другому предпочтительному аспекту настоящего изобретения по меньшей мере некоторые или все стойки содержат средство контроля. Следовательно, вся система может в определенном месте адаптивно реагировать на локальные отказы системы и может автоматически вводить в действие соответствующие резервы для компенсации отказа.

Согласно другому варианту осуществления средство контроля также содержит датчики температуры, датчики утечки из трубопровода и/или датчики дыма, при этом указанные датчики подключены к системе аварийной сигнализации для избирательного отключения аппаратного обеспечения, стойки и/или соответствующего участка модуля охлаждающих трубок.

Систему аварийной сигнализации можно располагать в любой из указанных стоек независимо и отдельно от системы аварийной сигнализации близлежащих или соседних стоек. Датчики дыма и утечки можно устанавливать отдельно и независимо друг от друга для индивидуального отключения горящего или дымящегося ИТ-оборудования при поддержании всех других операций центра обработки данных. В качестве варианта также можно предположить использование сочетания отдельных датчиков и/или использование многофункционального датчика.

Согласно дальнейшему варианту осуществления стойки также содержат средства планирования мощности, которые выполнены с возможностью поддержания суммарного предельного электрического тока ниже заранее заданного порога. Согласно этому варианту осуществления предотвращается потребление всем центром данных электроэнергии в количестве, которое не может предоставляться внешним источником питания. Поэтому средства планирования мощности выполнены с возможностью регулирования таким образом, чтобы каждая стойка или пара/группа стоек потребляла электроэнергию от источника электрического тока или напряжения в соответствии с заданной временной схемой.

Например, после заданной временной задержки расход электроэнергии первой стойкой можно повышать по сравнению с расходом любой другой стойки центра обработки данных. При этом пиковое потребление электроэнергии всем центром данных можно поддерживать ниже заранее заданного порога, тем самым будет гарантироваться, что внешний источник питания не выйдет из строя. Средства планирования мощности можно реализовывать как конкретный алгоритм, придающий заранее заданную, и поэтому особую, временную задержку любой из стоек в здании центра обработки данных.

В качестве варианта также возможно, чтобы подключение различных стоек к питанию регулировалось централизованно. Однако подключенная система аварийной сигнализации также находится в объеме настоящего изобретения, при этом большое количество датчиков утечки и/или дыма электрически подключены к центральной системе аварийной сигнализации, которая может автоматически приводить в действие соответствующие резервы для нейтрализации сбоя системы.

Согласно еще одному предпочтительному варианту осуществлению центр обработки данных также содержит по меньшей мере один дополнительный контур охлаждения, например, резервный первый контур охлаждения, содержащий такую же основную структуру, как первый контур охлаждения, который принимает на себя функции первой охлаждающей структуры в случае возникновения любой утечки или другой проблемы. Предпочтительно, чтобы контур охлаждения, в том числе первый контур охлаждения, имел по меньшей мере два впускных отверстия для охлаждающей среды, что позволит выполнять работу в случае любой утечки, частичного отключения.

Согласно еще одному предпочтительному варианту осуществления все насосы в центре обработки данных имеют резервный насос, который может быть приведен в действие в случае отказа первичного насоса. Соответствующие запорные клапаны позволяют заменять отказавший насос во время работы системы.

Настоящий способ позволяет центру данных работать при относительно высоких окружающих температурах, например до 30°С.

Согласно предпочтительному варианту осуществления реализуется дополнительная избыточность в случае, если стойки установлены задними сторонами друг к другу. В этом случае холодный воздух из двух рядов стоек смешивается в проходе между стойками. Два ряда стоек можно легко делать независимыми при использовании независимых труб и насосов. В случае отказа всего ряда стоек вследствие катастрофической утечки или отказа всех резервных насосов температура воздуха, уходящего из стоек, соединенных с отказавшей системой охлаждения, будет медленно повышаться до тех пор, пока не будет достигнута температура воздуха, выходящего из серверов, которая в типичном случае на 10 K выше, чем окружающая температура. Для стойки с потреблением электроэнергии 10 кВт температура повышается приблизительно на 3 K в час. Теплый воздух, уходящий из ряда стоек с отказавшей системой охлаждения, смешивается с воздухом из противоположного ряда стоек. Поэтому температура воздуха в проходе в среднем только на 5 K выше, чем окружающая температура. Это повышение температуры можно компенсировать снижением подачи холодной воды к ряду стоек с работающей системой охлаждения.

Эффективность использования энергии (ЭИЭ) применительно к настоящему изобретению определена в “Data center efficiency metrics-PUE™, partial PUE, ERE, DCcE” (2011), Dan Azevedo, Jud Cooley, Michael Patterson and Mark Blackburn, публикация на сайте www.thegreengrid.org. Наибольший вклад в непроизводительные затраты электроэнергии вносит охлаждение. Дополнительные вклады вносят электрические преобразования и распределения, генерация резервного электропитания, например, батарейными резервными системами, кондиционирование воздуха и т.п. Предложенное изобретение позволяет снижать непроизводительные затраты на охлаждение до минимума. Настоящим способом обеспечивается работа центра обработки данных при эффективности использования энергии (ЭИЭ) самое большее 1,3, предпочтительно самое большее 1,2, более предпочтительно самое большее 1,15, в особенности самое большее 1,1.

Ниже изобретение будет описано подробно с обращением к чертежу, на котором:

фигура 1 - схематичный вид центра обработки данных, работающего в соответствии с настоящим способом.

Согласно показанному на фигуре 1 варианту осуществления любая из стоек (202) содержит отдельное теплообменное устройство (206), которое снабжено теплообменником (207). Активное средство, такое как охлаждающий вентилятор центрального процессора из ИТ-оборудования (200), содействует потоку (205) воздуха внутри стойки (202) к теплообменному устройству (206). Все теплообменные устройства (206) соединены с трубопроводом (203/304), по которому перемещается жидкий охладитель, например вода, к любой из стоек (202).

Подача охладителя по трубопроводу (203/204) выгодна потому, что различные стойки (202) являются полностью пассивными и уже не считаются закрытыми стойками. Более того, рассеивание тепла за пределы различных стоек (202) можно эффективно снижать до минимума или даже полностью исключать. Следовательно, больше нет необходимости регулировать общий воздушный поток внутри здания. Таким образом, можно эффективно исключать образование горячих точек, которые могут быть следствием некоторого неконтролируемого протекания горячего воздуха за пределы стоек (202).

Кроме того, больше не нужно активно регулировать воздушный поток во всем здании центра обработки данных, поскольку окружающая температура около стоек (202) поддерживается на относительно низком уровне по сравнению с температурой внутри стоек (202).

Чтобы реализовать устойчивость к отказам в инфраструктуре охлаждения, стойки (202) могут работать в четно-нечетном режиме, в котором каждая вторая стойка соединена с одним и тем же трубопроводом, то есть с первым или вторым, резервным первым контуром охлаждения. Таким образом, могут поддерживаться два резервных первых контура охлаждения, обеспечивающих остаточную охлаждающую способность.

В случае отказа, например, вследствие утечки из трубопровода (203/204) конкретная стойка может быть избирательно отключена от трубопроводной системы (203/204).

Поскольку вообще нет необходимости направлять какой-либо воздух в здание центра обработки данных, такое как помещение, содержащее большое количество стоек, то ИТ-оборудование (200), имеющееся в стойках (202), можно размещать в любом произвольном порядке. Центр обработки данных, подразумеваемый в настоящем изобретении, содержит больше одной стойки (202).

Таким образом, при повышении окружающей температуры в центре обработки данных повышается температура охлаждающей среды, в частности охлаждающей воды, и при этом непосредственно повышается эффективность охлаждения нагретой охлаждающей среды, в частности нагретой охлаждающей воды.

ПЕРЕЧЕНЬ ПОЗИЦИЙ:

200 - ИТ-оборудование

201 - сетчатый пол

202 - стойка

203/204 - трубопроводная система для первого контура охлаждения

205 - поток воздуха внутри стойки, создаваемый только активным средством, содержащимся в ИТ-оборудовании

206 - теплообменное устройство

207 - теплообменник

ПРИМЕР 1

Центр обработки данных содержит высокопроизводительный компьютер, потребляющий мощность 500 кВт и расположенный в 34 стойках, при этом каждая стойка является 19-дюймовой (48,26 см) и имеет 42 единицы высоты. Стойки имеют глубину 1,2 м и ширину 70 см. Необходимая площадь пола под стойками составляет меньше чем 100 м² рабочей площади.

Инфраструктура охлаждения в основном состоит из двух контуров охлаждения, соединенных теплообменником. В первом контуре охлаждения тепло, выделяемое в 19-дюймовых (48,26 см) стойках центра обработки данных, переносится к теплообменнику, который охлаждается благодаря второму контуру. Во втором контуре охлаждения используются два встречных потока мощностью 313 кВт, охладительные башни с искусственной тягой, в которые подпиточная вода отбирается из ближайшей реки. Вся инфраструктура охлаждения установлена внутри 20-футового (6,1 м) контейнера, при этом две охладительные башни расположены на крыше. Техническое обслуживание и очистку указанных охладительных башен можно выполнять в то время, когда система охлаждения остается активной, но имеет пониженную производительность. Следует отметить, что при этой схеме требуется выделение компьютером минимальной мощности 50 кВт, чтобы исключалось замораживание систем охлаждения в течение зимы. Образована инфраструктура сбора запасной воды.

Во всей системе охлаждения имеются три потребителя электрической энергии: насос второго контура (6 кВт), насос первого контура охлаждения (28 кВт) и один вентилятор в каждой охладительной башне (4,5 кВт каждый). Вместе с тем мощность вентиляторов можно регулировать, поскольку вентиляторы не требуются при температурах наружного воздуха ниже 15°С. Два водяных насоса выполнены с возможностью работы при постоянном, фиксированном объемном потоке 150 м³/ч во втором контуре и 220 м³/ч в первом контуре охлаждения. Расход воды в первом контуре охлаждения является достаточным для охлаждения при мощности до 900 кВт, тогда как второй контур поддерживается на уровне удвоенной мощности 313 кВт. Усовершенствование системы до полной мощности 900 кВт возможно путем добавления одной дополнительной охладительной башни в существующую инфраструктуру. В предположении типичного значения среднего использования вентиляторов охладительной башни, составляющего 35%, и максимальной мощности компрессора высокого давления 500 кВт получаются средние непроизводительные затраты на охлаждение 7,4% или эффективность использования энергии 1,074. В случае полностью используемой системы охлаждения с силовой нагрузкой 900 кВт непроизводительные затраты на охлаждение будут 4,9% или эффективность использования энергии 1,049. В частности, дальнейшая оптимизация возможна применительно к насосу второго контура. В этой реализации насос перемещает объемный поток на протяжении большого расстояния 120 м, поскольку охлаждающий контейнер нельзя помещать близко к помещению центра обработки данных.

ПРИМЕР 2

Мобильный контейнер центра обработки данных, имеющий ширину 3 м, высоту 2,9 м и длину 12,2 м, снабжен 19-дюймовыми (48,26 см) стойками в количестве 13 штук, при этом каждая имеет ИТ-оборудование, которое работает при 35 кВт. При охлаждении гибридным охладителем полная мощность составляет 455 кВт. Для водяного насоса необходимо иметь 10 кВт и для гибридного охладителя необходимо иметь дополнительно 6 кВт, следствием чего является эффективность использования энергии (ЭИЭ) 1,035.

Изобретение относится к способу обеспечения работы центра обработки данных, который выполнен с возможностью размещения большого количества/множества стоек, рассчитанных на получение объема для размещения ИТ-оборудования. Технический результат - оптимизация потребности в электроэнергии и затратах, а также обеспечение более плотной компоновки стоек для минимизации необходимой длины сетевых кабелей и повышения пропускной способности средств связи системы. Достигается тем, что центр обработки данных содержит открытые стойки с пассивными теплообменниками, при этом указанные теплообменные средства являются элементом стоек или элементом, прикрепленным к стойкам, которые выполнены таким образом, что наибольшая часть нагретого воздуха, в наилучшем варианте весь нагретый воздух ИТ-оборудования, установленного внутри стойки, охлаждается обратно до заданной комнатной температуры. Центр обработки данных, работающий согласно настоящему изобретению, имеет эффективность использования энергии (ЭИЭ) самое большее 1,3, предпочтительно самое большее 1,2, более предпочтительно самое большее 1,15, в особенности самое большее 1,1. 14 з.п. ф-лы, 1 ил.

1. Способ обеспечения работы центра обработки данных, содержащего:

(i) здание для размещения большого количества стоек (202), при этом каждая стойка представляет собой открытую стойку, содержащую ИТ-оборудование,

(ii) стойки (202), представляющие собой открытые стойки, содержащие ИТ-оборудование (200),

(iii) стойки (202), содержащие теплообменное средство (206, 207), выполненное с возможностью переноса тепла, выделяемого ИТ-оборудованием, к охлаждающей среде, при этом указанное теплообменное средство является элементом стоек или элементом, прикрепленным к стойкам, предпочтительно расположенным на задней стороне или являющимся элементом стоек,

(iv) по меньшей мере один первый контур (203/204) охлаждения, при этом упомянутый контур охлаждения представляет собой замкнутый контур охлаждения, который выполнен с возможностью снабжения теплообменного средства (206, 207) стоек (202) охлаждающей средой и дополнительно выполнен с возможностью перемещения нагретого охладителя из теплообменного средства (206, 207) стоек (202) с помощью обратного потока контура охлаждения,

(v) причем упомянутый первый контур (203/204) охлаждения соединен с источником, создающим холод, при этом упомянутый источник расположен вне помещения, содержащего большое количество стоек,

(vi) ИТ-оборудование (200), расположенное в соответствующих стойках (202), имеющих активные средства, предпочтительно вентиляторы, для охлаждения частей ИТ-оборудования (200), предпочтительно центрального процессора, и/или графического процессора, и/или запоминающих аппаратных средств, при этом упомянутые активные средства создают поток (205) воздуха в стойке (202) к теплообменному средству (206, 207), являющемуся элементом стоек или элементом, прикрепленным к стойкам, предпочтительно расположенным на задней стороне или являющимся элементом стоек (202),

(vii) причем упомянутые стойки (202) не имеют других активных средств, в частности вентиляторов, за исключением активных средств, содержащихся в упомянутом выше ИТ-оборудовании (200), для создания потока (205) воздуха в стойке (202) к теплообменному средству (206, 207), являющемуся элементом стоек или элементом, прикрепленным к стойкам, предпочтительно расположенным на задней стороне или являющимся элементом стоек (202),

(viii) причем упомянутое здание для размещения большого количества стоек (202) не содержит других активных средств за исключением активных средств, содержащихся в упомянутом выше ИТ-оборудовании (200), для создания направленного потока воздуха,

(ix) по меньшей мере один вход электрической энергии,

(x) по меньшей мере одно средство для распределения электрической энергии с входа электрической энергии по отдельным стойкам, позволяющее иметь резервные источники питания в каждой стойке, причем способ содержит этапы, на которых:

(а) предоставляют охлаждающую среду из источника, предоставляющего холод, к теплообменному средству (206, 207) стоек (202) в первом контуре охлаждения, при этом входной поток упомянутой охлаждающей среды входит в теплообменное средство (206, 207), имея температуру на от 1 до 5 K, предпочтительно на от 1 до 3 K, наиболее предпочтительно на от 1 до 2 K ниже температуры обратного потока охлаждающей среды, выходящей из теплообменного средства (206, 207) стоек (202),

(b) регулируют поток охлаждающей среды в первом контуре (203, 204) охлаждения, который выполнен с возможностью снабжения теплообменного средства (206, 207) стоек (202) для поддержания температуры охлаждающей среды, входящей в теплообменное средство (206, 207) стоек (202) (входного потока), имеющей температуру на от 1 до 5 K, предпочтительно на от 1 до 3 K, более предпочтительно на от 1 до 2 K ниже температуры обратного потока охлаждающей среды, выходящей из теплообменного средства (206, 207) стоек (202),

(с) перемещают нагретую охлаждающую среду, уходящую из теплообменного средства (206, 207) стоек (202) (обратный поток), к источнику, создающему холод, при этом упомянутый источник располагают за пределами помещения, содержащего большое количество стоек, для удаления тепла из нагретой охлаждающей среды до температуры на от 1 до 5 K, предпочтительно на от 1 до 3 K, наиболее предпочтительно на от 1 до 2 K ниже температуры обратного потока охлаждающей среды, и возвращают охлаждающую среду в по меньшей мере один первый контур охлаждения.

2. Способ по п. 1, в котором удельная мощность ИТ-оборудования в стойках составляет по меньшей мере 5 кВт (электрических) на стойку, более предпочтительно по меньшей мере 8 кВт (электрических) на стойку, наиболее предпочтительно по меньшей мере 10 кВт (электрических) на стойку.

3. Способ по п. 1, в котором стойки (202) располагают в виде скомпонованных в двух измерениях центров обработки данных, при этом стойки располагают на одном уровне, или скомпонованных в трех измерениях центров обработки данных, при этом стойки (202) располагают на более чем одном уровне в центре обработки данных.

4. Способ по п. 1, в котором удельная мощность ИТ-оборудования (200), установленного и работающего в стойках (202), создает объемную скорость теплорассеяния, которая соответствует по меньшей мере приблизительно 5 кВт/м², предпочтительно по меньшей мере приблизительно 10 кВт/м², наиболее предпочтительно по меньшей мере приблизительно 20 кВт/м².

5. Способ по п. 1, в котором комнатная температура помещения, содержащего большое количество стоек (202), равна приблизительно +2 K, предпочтительно +1 K, более предпочтительно +0,5 K относительно температуры обратного потока охлаждающей среды первого контура охлаждения, наиболее предпочтительно приблизительно такая же, как температура обратного потока охлаждающей среды первого контура охлаждения.

6. Способ по п. 1, в котором источник холода обеспечивает обратное охлаждение с помощью (i) внешних источников холодной воды, предпочтительно подземной или поверхностной воды, (ii) испарительного охлаждения, которое действует на основании принципа испарения, включая испарительные охладительные башни с открытыми охладительными башнями или без них, (iii) гибридного охладителя или (iv) сухого охладителя.

7. Способ по п. 1, в котором охлаждающая среда, входящая в центр обработки данных для охлаждения посредством по меньшей мере одного контура охлаждения, имеет температуру самое большее на 0,2 K ниже температуры охлаждающей среды, входящей в теплообменное средство (206, 207).

8. Способ по п. 1, в котором температура обратного потока охлаждающей среды первого контура охлаждения самое большее на 3 K, предпочтительно самое большее на 2 K, наиболее предпочтительно самое большее на 1 K выше температуры, создаваемой источником холода, входящего в центр обработки данных, при полной удельной мощности до 10 кВт (электрических) на стойку, или в котором температура обратного потока охлаждающей среды первого контура охлаждения самое большее на 4 K, предпочтительно самое большее на 3 K выше температуры, создаваемой источником холода, входящего в центр обработки данных, при полной удельной мощности по меньшей мере 10 кВт (электрических) на стойку.

9. Способ по п. 1, причем в способе обеспечения работы центра обработки данных не работают никакие дополнительные кондиционеры воздуха.

10. Способ по п. 1, причем в способе обеспечения работы центра обработки данных нет никаких активных средств, в частности вентиляторов, для создания потока (205) воздуха в стойке к теплообменному средству за исключением таких активных средств, которые имеются в ИТ-оборудовании, расположенном в стойке.

11. Способ по п. 1, в котором активные средства, в частности вентиляторы, имеющиеся в ИТ-оборудовании (200), создают поток (205) воздуха в стойке к теплообменному средству, который соответствует объемному потоку воздуха от 100 до 600 м³/(ч·кВт) и он соответствует по меньшей мере 0,5 м/с, предпочтительно по меньшей мере 0,8 м/с, в особенности по меньшей мере 1,1 м/с.

12. Способ по п. 1, в котором активные средства, в частности вентиляторы, имеющиеся в ИТ-оборудовании (200), создают поток (205) воздуха в стойке к теплообменному средству, которое создает противодавление, соответствующее максимальному значению 10 Па при скорости потока воздуха, соответствующей 0,5 м/с, предпочтительно максимальному значению 16 Па при скорости потока воздуха, соответствующей 0,8 м/с, более предпочтительно максимальному значению 20 Па при скорости потока воздуха, соответствующей 1,1 м/с.

13. Способ по п. 1, в котором падение давления на теплообменнике задают ниже 22 кПа при объемном потоке 3 м³/ч охлаждающей среды, предпочтительно воды, предпочтительно ниже 54 кПа при 5 м³/ч охлаждающей среды, предпочтительно воды, наиболее предпочтительно ниже 200 кПа при 10 м³/ч охлаждающей среды, предпочтительно воды.

14. Способ по п. 1, в котором расход охлаждающей среды, предпочтительно воды, задают от 0,9 м³/ч на 1 кВт мощности ИТ-оборудования, установленного и работающего при разности 1 K, и до 0,17 м³/ч на 1 кВт мощности ИТ-оборудования, установленного и работающего при разности 5 K.

15. Способ по п. 1, в котором температуру охлаждающей среды, входящей в теплообменное средство (206, 207), регулируют, чтобы она была ниже температуры обратного потока охлаждающей среды, выходящей из теплообменного средства (206, 207) стоек, на от 0,1 до 0,5 K в расчете на 1 кВт мощности ИТ-оборудования, установленного и работающего в стойке, не превышающей 10 кВт на стойку, или в котором температуру охлаждающей среды, входящей в теплообменное средство (206, 207), регулируют, чтобы она была ниже температуры обратного потока охлаждающей среды, выходящей из теплообменного средства (206, 207) стоек, на от 0,1 до 0,2 K в расчете на 1 кВт мощности ИТ-оборудования, установленного и работающего в стойке, составляющей от 10 до 25 кВт в расчете на стойку, или в котором температуру охлаждающей среды, входящей в теплообменное средство (206, 207), регулируют так, чтобы она была ниже температуры обратного потока охлаждающей среды, выходящей из теплообменного средства (206, 207) стоек (202), на от 0,1 до 0,125 K в расчете на 1 кВт мощности ИТ-оборудования, установленного и работающего в стойке, составляющей больше 25 кВт в расчете на стойку.