Область техники
Данное изобретение относится к конструкции здания для компьютерного (вычислительного) центра, предназначенной для размещения множества коммуникационных стоек (шкафов), которые предоставляют пространство для помещения в него компьютерных аппаратных средств. Здание вычислительного центра оборудовано холодильными установками, чтобы обеспечивать отвод тепла, выделяемого компьютерными аппаратными средствами.
Уровень техники
В уровне техники имеются различные конструкции зданий для размещения множества коммуникационных стоек, которые предоставляют пространство для помещения в него компьютерных аппаратных средств. Пример обычного здания для вычислительного центра, соответствующего уровню техники, показан в виде эскиза на фигуре 1. Оно включает в себя фальшпол для компьютерной инфраструктуры, которая в типичном случае размещена в 19-дюймовых коммуникационных стойках. Охлаждение производится холодным воздухом, который закачивается внутрь фальшпола. Фальшпол имеет в соответствующих местах перед коммуникационными стойками диафрагмы с отверстиями. Через них холодный воздух подводится к коммуникационным стойкам в местах впуска воздуха.
Как представлено на фигуре 1, пол 106 несет на себе фальшпол, установленный на перпендикулярных ему стальных несущих стойках 107; на нем уложены плиты 104, 105 фальшпола, на которых в свою очередь установлена аппаратура компьютерной инфраструктуры, например, в виде 19-дюймовых коммуникационных стоек 102. В этих стойках 102 размещена аппаратура компьютерной инфраструктуры 101, как правило, предназначенная для монтажа в 19-дюймовых стойках, которая монтируется горизонтально и которая затягивает воздух с передней стороны коммуникационных стоек и генерирует теплый воздух у своей задней стороны. Для охлаждения компьютеров в плитах фальшпола имеются соответствующие вентиляционные отверстия 104 для того, чтобы коммуникационные стойки 102 имели возможность получать холодный воздух 110.
В уровне техники представлен также закрытый воздуховод 103 холодного воздуха, позволяющий избегать пересечения потока холодного воздуха и теплого воздуха 109. Благодаря такому закрытому исполнению подаваемый холодный воздух 110, 111 имеет возможность покидать воздуховод 103 только через места впуска воздуха компьютеров, и в соответствии с этим нет никакого другого пути, по которому в эту область мог бы попадать теплый воздух.
Это решение невыгодно в том отношении, что отдельные коммуникационные стойки 102 приходится выполнять в виде закрытых стоек. К тому же за потоком воздуха через соответствующие коммуникационные стойки 102 приходится наблюдать и управлять им, чтобы избегать подачи излишних масс холодного воздуха из воздуховода холодного воздуха. Существуют различные концепции, которые позволяют управлять воздушным потоком в воздуховоде 103 холодного воздуха, в то время как вентиляторы, которые производят воздушный поток 108, с работают с минимально возможной производительностью. Теплый воздух 109, который генерируется на задней стороне коммуникационных стоек 102, подводится к непоказанным в явном виде теплообменникам, установленным в другом месте в здании вычислительного центра. Для получения потока 108 холодного воздуха либо снова охлаждается нагретый воздух, либо используется свежий воздух.
У этой архитектуры есть различные недостатки. Во-первых, в силу относительно низкой теплоемкости воздуха требуется довольно высокая разница температур между холодным воздухом и теплым воздухом. Кроме того, требуются высокие значения воздушного потока, что сопряжено с большими потерями при перекачивании воздуха. Разумные границы значений воздушного потока и температуры воздуха ограничивают общий размер здания вычислительного центра. К тому же в системе воздушного охлаждения в типичном случае теряется 40% мощности. Кроме того, конструкция фальшпола относительно дорога, и на нее тратится дополнительный объем внутренней части здания.
Далее, документ WO 02/052107 А2 раскрывает здание вычислительного центра, которое имеет первый этаж и расположенные на расстоянии от него нижний и верхний полуэтажи между первым этажом и крышей. Каждый из полуэтажей имеет открытое перекрытие, через которое может проходить наружный воздух, причем предлагается принудительная циркуляция воздуха, взятого из окружающего пространства, чтобы поддерживать соответствующую рабочую температуру в вычислительном центре. Хотя описанное здесь здание позволяет избежать использования фальшполов благодаря использованию промышленных или складских зданий с конструкциями полуэтажей, механизм отвода тепла все же неоптимален, так как приходится транспортировать через все здание очень большое количество холодного воздуха, что трудно управляемо и довольно неэффективно.
В этом случае также ограничен общий размер здания, поскольку для эффективного охлаждения весь внутренний объем здания должен снабжаться достаточным воздушным потоком окружающего воздуха. Кроме того, данная архитектура не позволяет иметь множество этажей с мощными источниками тепла, такими как, например, компьютерные коммуникационные стойки, так как температура воздуха по направлению к расположенным выше этажам постоянно бы увеличивалась. Представленный вариант реализации уровня техники поддерживает лишь один единственный этаж с относительно низкой плотностью по мощности, например, для размещения компонентов сети и этажа с компьютерной инфраструктурой.
Раскрытие изобретения
Поэтому целью данного изобретения является создание вычислительного центра, или конструкции здания вычислительного центра, которая имеет более эффективный и универсальный механизм охлаждения для стоек с компьютерными аппаратными средствами и позволяет избежать необходимости окружения этих стоек воздуховодом охлаждающего воздуха. Кроме того, целью изобретения является оптимизация энергопотребления и расходов, а также достижение более высокой пространственной плотности расположения компьютерных стоек, чтобы минимизировать суммарную требуемую длину кабелей в сети, благодаря чему улучшается также производительность коммуникаций. Дополнительно настоящее изобретение нацелено на создание такой конструкции здания вычислительного центра, которая позволяет размещать более емкие устройства памяти с возможностью их расширения и больший объем устройств памяти, чем обычные решения.
Задача решена вычислительным центром согласно пункту 1 формулы изобретения, стойкой для компьютерных аппаратных средств согласно дополнительному независимому пункту 18 формулы изобретения и способом охлаждения конструкции здания вычислительного центра.
Данное изобретение согласно первому аспекту описывает конструкцию вычислительного центра или, соответственно, здания вычислительного центра, включающего в себя, по меньшей мере, первый и второй этажи, или, соответственно, первый и, соответственно, второй уровни, и предназначенного для размещения большого количества коммуникационных стоек, каждая из которых предоставляет место для размещения компьютерных аппаратных средств.
Этажи или, соответственно, уровни выполнены в виде многоярусного стеллажного склада. Следовательно, они и/или все здание вычислительного центра в целом не обязательно должны иметь пол, дизайн и конструкция могут быть выполнены без полов. Благодаря возможности отказа от полов, в частности, от фальшполов, применение многоярусного стеллажного склада особенно компактно. Кроме того, таким образом сокращаются затраты на здание вычислительного центра согласно изобретению, так как многоярусные стеллажи склада обходятся дешевле, чем обычные конструкции здания вычислительного центра.
Помимо этого, здание вычислительного центра включает в себя первый охлаждающий контур для отведения тепла, которое генерируют компьютерные аппаратные средства. Этот первый охлаждающий контур предназначен для того, чтобы снабжать, по меньшей мере, некоторые из коммуникационных стоек охлаждающим веществом (хладагентом), а также для того, чтобы через него отводить охлаждающее вещество, нагретое компьютерными аппаратными средствами, по меньшей мере, от некоторых из коммуникационных стоек.
Изобретение, в частности, отличается тем, что вышеупомянутые коммуникационные стойки, которые связаны с первым охлаждающим контуром, включают в себя узлы теплообменников, предназначенные для того, чтобы передавать все тепло, произведенное компьютерными аппаратными средствами, охлаждающему веществу. Таким образом, узлы теплообменников согласно изобретению выполнены такого размера, что они имеют возможность в процессе эксплуатации отводить все количество теплоты, производимое компьютерными аппаратными средствами.
Благодаря этому теплый воздух не отдается в помещение вычислительного центра. Воздух, подводимый к коммуникационным стойкам, и воздух, отводимый от коммуникационных стоек, имеет одну и ту же температуру, или даже отводимый воздух имеет более низкую температуру, так что возможен полный отказ от внешнего воздуховода, окружающего стойки. Этим предотвращается и повышение температуры в помещении с увеличением высоты.
Узлы теплообменников могут быть, в частности, выполнены большего, чем необходимо, размера так, чтобы узлы теплообменников сами способствовали охлаждению вычислительного центра.
Таким образом, данное изобретение базируется на предназначенном специально для коммуникационных стоек охлаждении в пределах многоярусного стеллажного склада, и на транспортировке охлаждающего вещества, чтобы исключить проблему создания потока охлаждающего воздуха через все здание и управления этим потоком. Вместо этого, первый охлаждающий контур требует наличия лишь ограниченного места. Различные стойки для компьютерных аппаратных средств или даже все они присоединяются по отдельности к первому охлаждающему контуру, предоставляющему эффективный инструмент для передачи и отведения тепла от компьютерных аппаратных средств.
Индивидуальное присоединение каждой из охлаждаемых коммуникационных стоек к охлаждающему контуру в сочетании с предназначенными для стоек узлами теплообменников, которые рассчитаны на передачу всего объема тепла, производимого компьютерными аппаратными средствами, в охлаждающий контур, дает то преимущество, что имеется возможность контролировать тепловую мощность и теплообмен индивидуально и раздельно для каждой отдельной стойки в структуре здания вычислительного центра, а также управлять ими. Охлаждение теплого воздуха исключительно внутри коммуникационных стоек позволяет достигать любой плотности размещения стоек без необходимости в каких бы то ни было воздуховодах.
Индивидуальная и раздельная инфраструктура охлаждения позволяет располагать коммуникационные стойки в виде многоуровневой высотной конструкции многоярусного стеллажного склада, так как возможно поддержание окружающей температуры для всего здания в точно определенной, достаточно низкой температурной области. Сверх того, предложенная система охлаждения позволяет применять так называемую открытую архитектуру коммуникационных стоек, благодаря чему стойки больше не требуется герметично закрывать.
В соответствии с первым предпочтительным вариантом исполнения изобретения первый охлаждающий контур включает в себя систему труб для транспортировки охлаждающей жидкости. Применение жидкого охлаждающего вещества, такого, как вода, или других соответствующие охлаждающих жидкостей, в частности, имеющих большую теплоемкость, чем воздух, выгодно по различным причинам. Во-первых, общее количество теплоты, которое может переноситься или передаваться, больше по сравнению с газообразными охлаждающими веществами. Во-вторых, контролировать поток и перенос охлаждающего вещества и управлять им в этом случае легче по сравнению с турбулентным или ламинарным потоком газообразного охлаждающего вещества.
Кроме того, предлагается, чтобы охлаждающее вещество транспортировалось в охлаждающем контуре, содержащем воду или любую другую жидкость со сравнительно высокой теплоемкостью, под давлением, меньшим, чем атмосферное. Благодаря этому любая течь в системе труб не приведет сразу к потере охлаждающей жидкости из системы. Вместо этого воздух из окружающего пространства проник бы в систему труб и тем самым препятствовал бы повреждению чувствительных и дорогих компьютерных аппаратных средств охлаждающим веществом.
Согласно следующему предпочтительному варианту исполнения этажи или, соответственно, уровни многоярусного стеллажного склада выполнены без фальшполов. Таким образом экономится монтажное пространство и повышается плотность размещения компьютерных аппаратных средств.
Кроме того, путем применения эффективной изоляции в системе труб возможно сокращение до минимума разницы температур между подаваемым охлаждающим веществом и охлаждаемой стойкой для компьютерной техники, в то время как нагретое охлаждающее вещество одновременно выводится из здания или отводится к резервуару тепла или холода, не подвергая бесконтрольному нагреву само здание.
Узлы теплообменников, которые установлены либо внутри стоек с компьютерными аппаратными средствами, либо в непосредственной близости от них, предназначены для передачи полного объема тепла, произведенного в коммуникационных стойках, охлаждающему веществу. Поэтому теплообменник каждой из охлаждаемых коммуникационных стоек обеспечивает тепловой контакт между подводимым охлаждающим веществом и внутренним объемом коммуникационной стойки.
Благодаря системе труб, по которой подается охлаждающее вещество, имеется возможность планировать всю структуру здания универсальным и гибким образом. Поэтому различные этажи здания, в противоположность более ранним решениям, больше не должны быть проницаемыми для прохождения потока окружающего воздуха. Отпадает также необходимость в наличии закрытого воздуховода холодного воздуха, и к тому же больше не требуется контролировать трудно управляемый общий поток охлаждающего воздуха внутри здания вычислительного центра.
Согласно еще одному предпочтительному варианту исполнения структура здания вычислительного центра включает в себя, по меньшей мере, первый и второй уровень, которые опираются на стальную несущую конструкцию многоярусного стеллажного склада. Сверх того, допустимы три этажа или даже большее количество этажей, которые расположены, соответственно, один на другом, как они и располагаются в соответствии с основной идеей изобретения. В частности, стальная несущая конструкция выполнена в виде многоярусного стеллажного склада, причем эта стальная несущая конструкция служит непосредственно в качестве несущей основы для стоек с компьютерной аппаратурой, вследствие чего больше не требуются наличие сегментов пола или плит пола между различными компьютерными стойками.
Согласно еще одному предпочтительному варианту исполнения коммуникационные стойки устанавливаются непосредственно на двутавровые носители стальной несущей конструкции. Дополнительно возможно размещение в промежутках между соседними коммуникационными стойками сетчатых решеток или аналогичных несущих конструкций. В этом случае сетчатые решетки могут служить в качестве своего рода сегментов пола. Благодаря своей ячеистой конструкции эти решетки позволяют оптимизировать их в отношении их веса, в зависимости от величины ячеек сетки.
Согласно следующему предпочтительному варианту исполнения, по меньшей мере, некоторые из коммуникационных стоек, содержащих теплообменник, рассчитаны на передачу тепла охлаждающему веществу, подаваемому через систему труб, посредством воздушного теплообмена. При этом предполагается, что газообразная теплообменная среда состоит в тепловом контакте с компонентами компьютерных аппаратных средств внутри коммуникационных стоек. Нагретая газообразная теплообменная среда далее находится в тепловом контакте с теплообменником и служит для передачи собранного тепла охлаждающей жидкости в системе труб.
Таким образом, поток газообразной охлаждающей среды может быть сокращен до рамок ограниченного пространства, в частности, ограничивается внутренним пространством соответствующей коммуникационной стойки. Таким образом, узлы теплообменников в сочетании с охлаждающей жидкостью пригодны для того, чтобы образовывать очень эффективные устройства, предотвращающие движение потоков теплого воздуха вне коммуникационных стоек. Теплый воздух не может выходить из внутренней области коммуникационных стоек наружу.
Далее, узлы теплообменников могут непосредственно принимать нагретый компьютерными аппаратными средствами воздух во внутренней части коммуникационных стоек и охлаждать теплый воздух до желаемой комнатной температуры, просто передавая тепло системе охлаждающих труб. Это позволяет полностью избежать потока горячего воздуха внутри здания вычислительного центра.
Расстояние, на которое переносится горячий или нагретый воздух, также может быть сокращено до минимума. Требуется лишь транспортировать нагретый воздух внутри коммуникационных стоек, в частности, от компьютерных аппаратных средств к теплообменнику. Тем самым удается избежать любых турбулентных воздушных потоков, с трудом поддающихся управлению. Вместо этого изобретение обеспечивает равномерный ламинарный поток воздуха, который по существу ограничен внутренней областью коммуникационных стоек.
Хотя теплообмен между жидким охлаждающим веществом и газообразным теплоносителем представляет собой простой и известный способ для достижения эффективного и действенного охлаждения, идея данного изобретения предусматривает, что теплоноситель, используемый внутри коммуникационных стоек, может также представлять собой жидкую среду вместо газообразной. Таким образом, возможно наличие у каждой коммуникационной стойки узла теплообменника с соответствующими фланцами для подсоединения внутренней охлаждающей системы стойки к первому охлаждающему контуру, который предназначен для того, чтобы соединять различные коммуникационные стойки друг с другом и транспортировать производимое тепло к внешнему резервуару.
Дальнейшее преимущество узлов теплообменников, расположенных в коммуникационных стойках, состоит в том, что стойки сами по себе не должны быть закрытыми, и что не требуется больше контролировать поток воздуха внутрь стойки и из нее. Еще одно преимущество состоит в том, что не требуются дополнительные кондиционеры внутри здания вычислительного центра, так как функцию охлаждения полностью берут на себя внутренние теплообменники коммуникационных стоек.
Поскольку, в частности, теплообменники имеют довольно большую поверхность, может быть достигнуто относительно медленное и ламинарное течение воздуха внутри каждой из коммуникационных стоек, и, таким образом, имеется возможность уменьшить скорость вращения дополнительных вентиляторов и тем самым минимизировать связанное с этим потребление электроэнергии на охлаждение.
Согласно следующему предпочтительному варианту исполнения, по меньшей мере, некоторые из коммуникационных стоек включают в себя, по меньшей мере, один вентилятор. Предпочтительно все коммуникационные стойки, оборудованные узлами теплообменников, имеют, по меньшей мере, по одному вентилятору, который либо непосредственно связан с теплообменником, либо расположен в непосредственной близости с теплообменником с тем, чтобы обеспечивать достаточно интенсивную циркуляцию холодного воздуха внутри соответствующей коммуникационной стойки.
Согласно следующему варианту исполнения изобретения все узлы теплообменников, имеющие, по меньшей мере, один вентилятор, располагаются попарно рядом друг с другом. Вследствие этого изобретение предоставляет возможность резервирования в случае, если в одном из теплообменников пары произойдет сбой. В этом случае узел теплообменника расположенной рядом стойки может взять на себя функцию того узла теплообменника, который вышел из строя. Кроме того, возможно индивидуальное повышение скорости вентилятора исправного узла теплообменника, чтобы компенсировать потерю мощности из-за неисправности соседнего теплообменника или вентилятора.
Поэтому преимуществом является наличие, по меньшей мере, в некоторых из коммуникационных стоек устройств управления для индивидуального регулирования узлов теплообменников. Таким образом, вся система может в адаптированном режиме локально реагировать на неполадки в системе и автоматически предпринимать соответствующие меры для компенсации последствий сбоя.
В соответствии с другим вариантом исполнения устройства управления дополнительно содержат детекторы утечки для системы труб и/или детекторы дыма, причем эти детекторы присоединены к аварийной системе, которая предназначена для того, чтобы избирательно отключать аппаратные средства и/или соответствующие ветки системы охлаждения.
Аварийная система может предпочтительно выполняться и размещаться индивидуально для каждой из вышеупомянутых коммуникационных стоек, отдельно от аварийных систем стоек, расположенных рядом с данной стойкой или напротив нее. Детекторы дыма и утечки могут устанавливаться отдельно и независимо друг от друга, чтобы иметь возможность отключать горящие или тлеющие компьютерные аппаратные средства индивидуально, и поддерживать должную работу остальной части вычислительного центра. В альтернативном варианте допустимо соединение отдельных детекторов между собой и использование многофункционального детектора.
Согласно следующему варианту исполнения коммуникационные стойки дополнительно включают в себя элементы управления мощностью, предназначенные для того, чтобы поддерживать пусковые токи ниже заданного граничного значения. Этот вариант исполнения служит для предотвращения создания всем вычислительным центром в целом такой динамической электрической нагрузки, которую не сможет выдержать внешний источник питания. Поэтому элементы управления мощностью предназначены для того, чтобы управлять каждой из коммуникационных стоек или парой стоек таким образом, чтобы они потребляли мощность источника электрического тока или сетевого блока питания по заданной временной схеме.
Например, первая стойка может начинать цикл включения по истечении определенного времени задержки относительно какой-либо другой стойки вычислительного центра. Вследствие этого пиковая потребляемая мощность всего здания вычислительного центра может поддерживаться ниже заданного граничного значения, и таким образом обеспечивается безаварийная работа внешнего источника питания. Оба устройства управления мощностью могут быть реализованы в виде специального алгоритма, который задает индивидуальные, различные временные задержки для каждой из коммуникационных стоек здания вычислительного центра.
В альтернативном случае допускается также, что циклом включения различных коммуникационных стоек управляют с помощью устройств центральной архитектуры. Однако в рамках вариантов применения данного изобретения возможна также и реализация взаимосвязанной аварийной системы, при которой множество детекторов утечки и/или дыма электрически связаны с центральной аварийной системой, которая автоматически принимает соответствующие меры для противодействия системным неполадкам.
В следующем предпочтительном варианте исполнения вычислительный центр содержит дополнительно второй охлаждающий контур, который имеет в принципе такую же структуру, как и первый охлаждающий контур. Однако первый и второй охлаждающие контуры расположены с чередованием на каждом из этажей здания вычислительного центра. Если отдельные коммуникационные стойки каждого этажа установлены в виде рядов или столбцов, то каждый второй столбец или каждый второй ряд коммуникационных стоек, например, ряды или столбцы с четными номерами, соединяются в типичном случае с первым охлаждающим контуром, тогда как нечетные столбцы или ряды соединяются со вторым охлаждающим контуром. Благодаря такому решению даже в случае сбоя в первом или втором охлаждающем контуре другой, остающийся исправным охлаждающий контур может принять на себя охлаждение всех коммуникационных стоек соответствующего этажа.
Компактная архитектура предпочтительного варианта исполнения позволяет осуществлять эксплуатацию вычислительного центра при относительно высокой температуре окружающей среды, при этом также поднимается температура жидкого охлаждающего вещества. Более высокие температуры охлаждающей жидкости позволяют производить более эффективное охлаждение. В случае, если температура охлаждающего вещества приближается к 30°C, возможно использование тепла, которое воспринимается от компьютерных аппаратных средств, для обогрева других частей здания, в особенности зимой, без необходимости использования тепловых насосов.
Согласно другой концепции первый и/или второй охлаждающий контур подключены непосредственно к отопительным установкам отдельного здания или части здания, которые находятся в непосредственной близости от здания вычислительного центра. Близлежащие здания или части здания могут непосредственно обогреваться путем использования охлаждающего вещества, нагретого до температуры около 30°C, без необходимости использования дополнительных устройств, например, тепловых насосов. В частности, охлаждающий контур может непосредственно соединяться с конструктивными элементами, используемыми при обогреве, или с аналогичными отопительными устройствами зданий или частей зданий, чтобы нагревать последние предпочтительно до температуры 17°C и выше.
Далее, первый и/или второй охлаждающий контур пригодны для их соединения с внешним тепловым резервуаром. Тепловой резервуар может служить в качестве накопителя энергии, например, чтобы зимой запасать тепло, отобранное от компьютерной аппаратуры в течение ночи, с тем, чтобы обеспечивать большее количество тепловой энергии для здания днем. Летом можно использовать тепловой резервуар для запасания тепла в течение дня, чтобы ночью, вследствие более холодной температуры окружающей среды, производить охлаждение с большей эффективностью.
В соответствии с еще одним вариантом исполнения двутавровые носители несущей конструкции, например, стальной несущей конструкции, могут к тому же использоваться в качестве направляющих, а сама несущая конструкция - в качестве подъемника, предназначенного для транспортировки всех коммуникационных стоек этажа по плоскости этажа и для их подъема. Таким образом, конфигурирование и реконфигурирование всего здания вычислительного центра могут осуществляться без необходимости наличия поэтажной инфраструктуры для транспортировки стоек с компьютерными аппаратными средствами.
В соответствии с другим независимым аспектом изобретение также относится к коммуникационной стойке для компьютерных аппаратных средств, которая может устанавливаться в многоярусном стеллажном складе в описанном выше здании вычислительного центра. Коммуникационная стойка для компьютерных аппаратных средств содержит место для размещения компьютерных аппаратных средств и содержит, по меньшей мере, один узел теплообменника, предназначенный для соединения с охлаждающим контуром, в котором циркулирует охлаждающая жидкость. Кроме того, коммуникационная стойка для компьютерных аппаратных средств содержит устройства управления, предназначенные для того, чтобы индивидуально и/или автономно управлять узлом теплообменника коммуникационной стойки.
Размеры узла теплообменника выбраны таким образом, что возможен отвод всего количества тепла, произведенного компьютерными аппаратными средствами, чтобы не происходила теплоотдача в пространство вне коммуникационной стойки.
В соответствии с другим аспектом изобретение относится к способу охлаждения конструкции здания вычислительного центра, содержащего множество коммуникационных стоек с компьютерными аппаратными средствами, каждая из которых включает в себя место для размещения компьютерных аппаратных средств. Метод предлагает концепцию, предусматривающую ступенчатое отведение всего тепла, производимого компьютерными аппаратными средствами, посредством транспортирования охлаждающего вещества к, по меньшей мере, некоторым из коммуникационных стоек с помощью устройств первого охлаждающего контура и посредством передачи тепла с помощью узлов теплообменников, а также посредством последующего транспортирования нагретого охлаждающего вещества в удаленную от коммуникационных стоек охлаждающую систему с применением узла теплообменника, встроенного в каждую из охлаждаемых стоек. Благодаря этому обеспечивается индивидуальное и раздельное для каждой стойки охлаждение здания вычислительного центра. Возможно также индивидуальное согласование параметров охлаждения с требованиями, предъявляемыми к охлаждению каждой из коммуникационных стоек.
Кроме того, способ охлаждения здания вычислительного центра отличается тем, что узлами теплообменников управляют раздельно и/или автономно. Это раздельное и автономное управление узлами теплообменников и охлаждающими устройствами для каждой из стоек позволяет создавать конструкцию здания, включающую в себя любое количество этажей, с повышенной плотностью размещения стоек и с повышенной плотностью носителей информации, предоставляющую возможность достаточно интенсивного теплоотвода на единицу объема, который может даже превышать величину 10 кВт/м3.
Благодаря тому, что используется охлаждающий контур, рассчитанный на циркуляцию жидкого охлаждающего вещества, становится возможным большее разнообразие различных архитектур здания, так как охлаждающее вещество может быть доставлено к любому месту в структуре здания, где устройства компьютерной техники выделяют тепло.
Краткий комментарий к фигурам чертежей
Ниже подробно описываются предпочтительные варианты исполнения изобретения со ссылками на чертежи, на которых:
фигура 1 схематично изображает структуру здания стандартного вычислительного центра
и
фигура 2 схематично изображает здание вычислительного центра согласно данному изобретению, включающее в себя два этажа.
Осуществление изобретения
На фигуре 2 представлены два этажа конструкции здания вычислительного центра. Структура, несущая на себе компьютерные аппаратные средства 101, выполнена в виде многоярусного стеллажного склада, который обычно включает в себя двутавровые носители 203, выполненные предпочтительно из стали и расположенные в определенном порядке. Горизонтальное расстояние между соседними двутавровыми носителями соответствует размеру и геометрической форме коммуникационных стоек 202, которые предоставляют место для размещения компьютерных аппаратных средств 101. Многоярусный стеллажный склад имеет несколько уровней 220, 221, на которых в коммуникационных стойках 202 расположены компьютерные аппаратные средства 101.
Например, расстояние между парой двутавровых носителей соответствует горизонтальной протяженностью коммуникационных стоек 202. Благодаря этому имеется возможность монтировать коммуникационные стойки 202 непосредственно на стальные двутавровые носители. Однако, расстояние между парами двутавровых носителей может быть и разным. В изображении на фигуре 2 размер промежуточной площадки 204 между соседними коммуникационными стойками 202 может отличаться от размера промежуточной площадки 224. Однако, хотя это и не обязательно необходимо, промежуточные площадки 204, 224 обычно перекрываются элементами сетчатой решетки, чтобы охлаждающий воздух мог проходить в вертикальном направлении.
Как представлено в варианте исполнения на фигуре 2, каждая из коммуникационных стоек 202 включает в себя отдельный узел 206 теплообменника, который оборудован теплообменником и опционально одними или несколькими вентиляторами 207 для обеспечения циркуляции потока охлаждающего воздуха внутри коммуникационных стоек 202. Все узлы 206 теплообменников связаны с системой 205 труб, которая транспортирует охлаждающую жидкость, например, воду, к каждой из коммуникационных стоек 202. Дополнительно узлы 206 теплообменников вместе с относящимися к ним вентиляторами 207, относящиеся к парам соседних коммуникационных стоек 202, установлены в одном ряду для того, чтобы предоставлять резервирование в случае, если в одном из узлов 206 теплообменника или их вентиляторов 207 произойдет сбой.
В этом случае узел 206 теплообменника и вентилятор 207 соседней или находящейся напротив коммуникационной стойки 202 смогут принять на себя функцию охлаждения вместо неисправного узла теплообменника.
Доставка охлаждающего вещества посредством системы 205 труб дает то преимущество, что различные коммуникационные стойки 202 уже не приходится выполнять в виде закрытых стоек. Сверх того, отвод тепла вне коммуникационных стоек 202 эффективно сокращается до минимума. Таким образом, больше нет необходимости управлять всем воздушным потоком внутри структуры здания. Благодаря этому удается эффективно препятствовать возникновению горячих областей вследствие отдельных турбулентных потоков воздуха вне коммуникационных стоек 202.
Дополнительно отпадает необходимость в активном управлении воздушным потоком внутри конструкции здания вычислительного центра, так как температура окружающей среды вокруг коммуникационных стоек 202 держится на относительно низком уровне по сравнению с температурой внутри коммуникационных стоек 202.
Чтобы добиться невосприимчивости к сбоям в инфраструктуре охлаждения, возможна эксплуатация коммуникационных стоек 202 как системы с четными/нечетными элементами, при которой каждая вторая стойка связана с одной и той же системой труб, а именно либо с первым, либо со вторым охлаждающим контуром. Таким образом, могут эксплуатироваться два охлаждающих контура, которые служат по отношению друг к другу резервирующими, предоставляя в распоряжение избыточную охлаждающую мощность. Мощность вентиляторов 207 узла 206 теплообменника предпочтительно выбирается с запасом, вследствие чего отказ одного вентиляторов компенсируется тем, что другие исправные вентиляторы той же самой или соседней коммуникационной стойки 202 приводятся в движение с соответственно более высокой скоростью.
В случае сбоя, вызванного, например, утечкой в системе 205 труб, определенная стойка 202 избирательно отсоединяется от системы 205 труб. Такая отсоединенная стойка 202 может охлаждаться благодаря тому, что расположенные напротив соседние коммуникационные стойки используются как своего рода запасные охлаждающие устройства, которые эксплуатируются при более высокой скорости вращения вентилятора. Даже если вся система охлаждения выйдет из строя, вторая группа коммуникационных стоек 202, которая присоединена ко второму охлаждающему контуру, таким же образом может принять на себя охлаждение ближайших соседей посредством того, что ее вентиляторы приводятся в движение с соответствующей более высокой или даже максимальной скоростью. Таким образом, исправные теплообменники и охлаждающие их вентиляторы принимают на себя горячий воздух от своих соседей. Если, тем не менее, например, охлаждающая способность перестает быть достаточной, то может быть также уменьшена температура охлаждающего вещества, чтобы сразу обеспечить более высокую эффективность охлаждения.
Так как нет необходимости проводить какие-либо воздушные потоки через всю конструкцию здания вычислительного центра, стойки 202 с компьютерными аппаратными средствами могут устанавливаться и монтироваться в любом расположении, в частности, также с использованием третьего измерения. В варианте исполнения, представленном на фигуре 2, коммуникационные стойки 202 смонтированы сторона к стороне и установлены типичным образом рядами, причем передние стороны обращены к передним сторонам, а задние стороны - к задним, чтобы оптимально использовать имеющееся место.
Допустимы и другие исполнения, при которых передние стороны коммуникационных стоек обращены к задним сторонам, так что каждый следующий ряд получает воздух непосредственно от теплообменников предыдущего ряда. Однако этот вариант размещения требует несколько большего пространства, так как промежутки между рядами стоек 202 должны быть не меньше, чем длина сменного блока-модуля для стойки, например, 19-дюймового сменного блока.
Снабжение охлаждающим веществом для каждой отдельной стойки 202 выгодно, в частности, потому, что это позволяет использовать для стоек с компьютерной аппаратурой многоэтажную стальную конструкцию. В противоположность этому при обычной системе охлаждения, основанной на воздушных потоках, быстро достигается верхняя граница мощности охлаждения, если конструкция здания вычислительного центра включает в себя больше двух этажей. Более того, охлаждение, основанное только на воздушных потоках, с увеличением размера здания становится все менее и менее эффективным, особенно при увеличивающейся высоте здания.
Как показано далее на фигуре 2, для необходимого свободного пространства над коммуникационными стойками достаточно довольно небольшой высоты, например, примерно 50 см, вследствие чего общая высота достигает 2,50 м, если высота коммуникационных стоек составляет 2 м. Стальная несущая конструкция 203 служит опорой не только для коммуникационных стоек 202, но также и для недорогих решетчатых элементов 201 пола, которые предназначены для того, чтобы обеспечить производство работ по техническому обслуживанию в такой многоэтажной многоярусной структуре. В результате многоярусный стеллажный склад вычислительного центра может включать в себя стальную решетку, которая построена из очень недорогих стандартных деталей. Различные расстояния между рядами и различные высоты этажей составляются и/или обеспечиваются по мере необходимости путем простого перемещения применяемых двутавровых носителей 203 стандартного размера. Открытая конструкция пола дополнительно обеспечивает прохождение воздушного потока 208 между различными этажами.
Стальные носители предоставляют возможность стандартного крепления для системы 205 труб охлаждающей воды и для соответствующих кабельных каналов для прокладки кабельной сети 209, 210. Под каждым рядом стоек монтируется путем непосредственного прикрепления к двутавровым носителям продольный стандартный кабельный канал, как показано на фиг.2. Имеются поперечные кабельные каналы 210, благодаря которым в распоряжение предоставляется решетка для кабельных каналов с задаваемым отступом. Они, так же, как и каналы 209, прикреплены к двутавровым носителям. Соединение с продольными кабельными каналами 209 осуществляется через соответствующие отверстия в двутавровых носителях.
Вертикальная прокладка кабельной сети может легко производиться между верхними концами коммуникационных стоек и/или их днищами или путем размещения вертикальных кабельных каналов на свободных местах. Такая архитектура делает потолок или плоскость этажа п многоэтажного многоярусного стеллажного склада фальшполом этажа п+1 этого стеллажного склада. Размещение компьютерных аппаратных средств на нескольких этажах приводит к минимизации средней длины отдельных кабелей прокладываемой кабельной сети для данной системы, поскольку этот параметр растет только пропорционально кубическому корню от объема системы. В существенной степени открытая архитектура позволяет сократить до минимума длину кабелей между любыми двумя точками и поэтому приводит к минимизации времени задержки сигнала между узлами.
Нижняя часть двутавровых носителей, служащих опорой для коммуникационных стоек, могут использоваться для образования подвижного крюка с присоединенным к нему подъемным устройством 212, 213, в результате чего получается экономичный подвижный кран или подъемник, который помогает устанавливать тяжелые аппараты.
Воздушный поток в коммуникационных стойках может оптимизироваться с целью обеспечения незначительной разницы между температурой нагретых мест внутри компьютерных аппаратных средств и температурой окружающей среды. Исходя из предусматриваемой согласно уровню техники разницы температур не более 20°C между воздухом окружающего пространства и горячими местами внутри коммуникационных стоек 202, допустима температура отработанного воздуха 40°C, вследствие чего теплообменники могут эксплуатироваться при 30°C с разницей температур 10°C относительно температуры охлаждающего воздуха.
Поэтому повышение температуры окружающей среды в вычислительном центре повышает температуру охлаждающей воды, вследствие чего непосредственно увеличивается эффективность охлаждения нагреваемой охлаждающей воды. Невысокая стоимость места в вычислительном центре позволяет использовать корпуса большего размера, такие, как 19-дюймовые системы высотой 3U или системы блэйд-серверов, которые используют крупные вентиляторы и перемещают большие объемы воздуха с меньшей скоростью. Вентиляторы 207 могут поддерживать этот воздушный поток и способствуют дальнейшему уменьшению скорости вращения вентиляторов внутри компьютеров.
Скорость вращения вентилятора в теплообменнике оптимизирована в зависимости от потребностей конкретных устройств, находящихся в стойке. С одной стороны, воспринимаемая энергия измеряется путем определения первичных потоков, направленных внутрь компьютера, на основании чего определяется отводимое количество тепла. Измеренная температура воздуха окружающего пространства и •температура теплообменника определяют величину воздушного потока, необходимого для охлаждения, и тем самым скорость вращения вентилятора.
С другой стороны, температура окружающей среды измеряется наверху на задней стороне коммуникационной стойки. В случае недостаточного воздушного потока, проходящего через теплообменник, эта температура повышается из-за горячего воздуха, который выходит из стойки. Таким образом, эксплуатационная характеристика системы охлаждения проверяется независимо для каждой отдельной стойки.
В процессе эксплуатации весь воздух, который выходит из компьютеров, находящихся в стойке, протекает через соответствующий теплообменник. Вследствие этого имеется возможность обнаруживать перегрев в стойке при помощи детекторов дыма в воздушном потоке. В случае возникновения такой неисправности имеется возможность отключить первичное электропитание компьютеров в отдельной стойке после осуществления попытки аварийного отключения аппаратуры, находящейся в стойке. Обычные компьютеры не представляют значительной пожароопасности, и поэтому отключение первичного электропитания остановит критичное увеличение или эскалацию проблемы. Благодаря тому, что имеется возможность управлять первичным электропитанием каждой отдельной коммуникационной стойки, становится возможным осуществлять также и планомерное включение для ограничения пусковых токов. В предпочтительном варианте исполнения изобретения последовательность включения компьютеров определяется согласованным расписанием включения отдельных коммуникационных стоек.
Рабочая температура 30°С позволяет непосредственно использовать охлаждающую воду для отопления близлежащих офисных зданий, если они используют отопление в виде теплого пола и теплых стен. Летом возможно использование тепла вычислительного центра для охлаждения зданий, путем применения конвекционных охлаждающих устройств.
Ночью, когда офисные здания нуждаются в совсем небольшом количестве тепла, энергия охлаждающей воды может запасаться в латентном тепловом резервуаре. Соответственно, в течение дня для отопления имеется в распоряжении большее количество тепла, таким образом, использование постоянно производимого тепла вычислительного центра согласовывается с циклом использования офисного здания.
Другой вариант применения латентного аккумулятора тепла используется летом при высоких температурах. В течение этого времени не все тепло может быть полезно использовано, и его приходится отводить наружу. Поскольку эффективность охлаждения уменьшается с понижением наружной температуры, в данном случае тепловой резервуар используется в течение дня для запасания тепла, и для отведения от него этого количества тепла ночью, когда наружная температура значительно ниже.
Список обозначений
101 компьютерные аппаратные средства
102 коммуникационная стойка
103 воздуховод холодного воздуха
104 плита открытого пола
105 плита закрытого пола
106 первый этаж
107 двутавровый носитель фальшпола
108 поток холодного воздуха
110 поток воздуха
111 поток воздуха
112 фальшпол
201 решетка пола
202 коммуникационная стойка
203 стальной двутавровый носитель
204 промежуточная площадка
205 система труб
206 узел теплообменника
207 вентилятор
208 поток воздуха
209 продольный кабельный канал
210 поперечный кабельный канал
212 кран
213 кран 220 этаж n
222 этаж n+1
224 промежуточная площадка
название | год | авторы | номер документа |
---|---|---|---|
СПОСОБ ОБЕСПЕЧЕНИЯ РАБОТЫ ЦЕНТРА ОБРАБОТКИ ДАННЫХ ПРИ НАЛИЧИИ ЭФФЕКТИВНОГО СРЕДСТВА ОХЛАЖДЕНИЯ | 2013 |
|
RU2623495C2 |
Мобильный центр обработки данных | 2020 |
|
RU2731958C1 |
ГЕРМЕТИЗАЦИЯ ОХЛАЖДАЮЩИХ РЯДОВ ДЛЯ СИСТЕМ ОХЛАЖДЕНИЯ СЕРВЕРНЫХ ФЕРМ | 2010 |
|
RU2562442C2 |
Мобильный центр обработки данных | 2023 |
|
RU2811720C1 |
ПОМЕЩЕНИЕ ДЛЯ ОХЛАЖДЕНИЯ СЕРВЕРОВ | 2010 |
|
RU2641474C1 |
ГЕРМЕТИЗАЦИЯ ОХЛАЖДАЮЩИХ РЯДОВ ДЛЯ СИСТЕМ ОХЛАЖДЕНИЯ СЕРВЕРНЫХ ФЕРМ | 2010 |
|
RU2531877C2 |
ГЕРМЕТИЗАЦИЯ ОХЛАЖДАЮЩИХ РЯДОВ ДЛЯ СИСТЕМ ОХЛАЖДЕНИЯ СЕРВЕРНЫХ ФЕРМ | 2010 |
|
RU2532846C2 |
ГЕРМЕТИЗАЦИЯ ОХЛАЖДАЮЩИХ РЯДОВ ДЛЯ СИСТЕМ ОХЛАЖДЕНИЯ СЕРВЕРНЫХ ФЕРМ | 2008 |
|
RU2470346C2 |
МОДУЛЬНАЯ СИСТЕМА ДЛЯ ЦЕНТРА ОБРАБОТКИ ДАННЫХ (ЦОД) | 2010 |
|
RU2610144C2 |
СИСТЕМА КОНДИЦИОНИРОВАНИЯ ВОЗДУХА | 2002 |
|
RU2280214C2 |
Изобретение относится к конструкции здания для компьютерного (вычислительного) центра, предназначенной для размещения множества коммуникационных стоек (шкафов), которые предоставляют пространство для помещения в него компьютерных аппаратных средств. Технический результат - создание вычислительного центра, который имеет более эффективный и универсальный механизм охлаждения для стоек с компьютерными аппаратными средствами и позволяет избежать необходимости окружения этих стоек воздуховодом охлаждающего воздуха, оптимизация энергопотребления и расходов, а также достижение более высокой пространственной плотности расположения компьютерных стоек, чтобы минимизировать суммарную требуемую длину кабелей в сети, благодаря чему улучшается также производительность коммуникаций. Достигается тем, что в вычислительном центре, предназначенном для размещения множества коммуникационных стоек (202), каждая из которых предоставляет место для размещения компьютерных аппаратных средств (101), первый охлаждающий контур (205) предназначен для снабжения, по меньшей мере, некоторых из коммуникационных стоек (202) охлаждающим веществом, причем первый охлаждающий контур (205) предназначен также для отвода нагретого охлаждающего вещества, по меньшей мере, от некоторых из коммуникационных стоек (202), причем вышеупомянутые коммуникационные стойки (202) имеют узлы (206, 207) теплообменников, предназначенные для передачи выделяемого тепла охлаждающему веществу, и размеры узлов (206, 207) теплообменников выбраны таким образом, что имеется возможность отводить через них все количество тепла, генерируемого компьютерными аппаратными средствами (101), так что в процессе эксплуатации теплый воздух не передается от множества коммуникационных стоек (202) в помещение вычислительного центра. 3 н. и 16 з.п. ф-лы, 2 ил.
1. Вычислительный центр с, по меньшей мере, одним первым этажом или уровнем (220) и вторым этажом или уровнем (222), причем этажи (220, 222) предназначены для размещения множества коммуникационных стоек (202), причем каждая из них предоставляет место для размещения компьютерных аппаратных средств (101), причем здание также включает в себя первый охлаждающий контур (205) для отведения тепла, генерируемого компьютерными аппаратными средствами (101), причем первый охлаждающий контур (205) предназначен для снабжения, по меньшей мере, некоторых из коммуникационных стоек (202) охлаждающим веществом, причем первый охлаждающий контур (205) предназначен также для отвода нагретого охлаждающего вещества от указанных, по меньшей мере, нескольких коммуникационных стоек (202), причем указанные коммуникационные стойки (202) имеют узлы (206, 207) теплообменников, предназначенные для передачи генерируемого тепла охлаждающему веществу, отличающийся тем, что этажи или уровни (220, 222) выполнены в виде многоярусного стеллажного склада, и что размеры узлов (206, 207) теплообменников выбраны таким образом, что имеется возможность отводить через них все количество тепла, генерируемого компьютерными аппаратными средствами (101), так что в процессе эксплуатации теплый воздух не передается от множества коммуникационных стоек (202) в помещение вычислительного центра.
2. Вычислительный центр по п.1, отличающийся тем, что охлаждающее вещество транспортируется в охлаждающем контуре (205) под более низким давлением, чем атмосферное давление.
3. Вычислительный центр по п.2, отличающийся тем, что первый охлаждающий контур (205) выполнен как система пониженного давления.
4. Вычислительный центр по п.1, отличающийся тем, что этажи или уровни (220, 222) не имеют фальшполов.
5. Вычислительный центр по п.1, отличающийся тем, что, по меньшей мере, первый и второй этажи (220, 222), опираются на несущую конструкцию.
6. Вычислительный центр по п.5, отличающийся тем, что коммуникационные стойки (202) расположены непосредственно на двутавровых носителях несущей конструкции, предпочтительно на стальной несущей конструкции, причем в промежутках между соседними коммуникационными стойками (202) расположены сетчатые решетки (201).
7. Вычислительный центр по п.1, отличающийся тем, что, по меньшей мере, некоторые из коммуникационных стоек (202) имеют узлы (206) теплообменников, предназначенные для переноса тепла между охлаждающим веществом и газообразной теплообменной средой.
8. Вычислительный центр по п.7, отличающийся тем, что узлы (206) теплообменников и/или вентиляторы (207) коммуникационных стоек (202), установленных попарно рядом друг с другом, обращены друг к другу своими передними сторонами.
9. Вычислительный центр по п.1, отличающийся тем, что, по меньшей мере, некоторые из коммуникационных стоек (202) имеют устройства управления для индивидуального управления узлами (206, 207) теплообменников.
10. Вычислительный центр по п.9, отличающийся тем, что устройства управления включают в себя детектор утечки для системы (205) труб, причем указанный детектор присоединен к системе аварийного отключения, предназначенной для избирательного отключения аппаратных средств (101) и/или охлаждающего контура (205).
11. Вычислительный центр по п.9 или 10, отличающийся тем, что устройства управления содержат детектор дыма, причем упомянутый детектор присоединен к системе аварийного отключения, предназначенной для избирательного отключения аппаратных средств (101) и/или охлаждающего контура (205).
12. Вычислительный центр по п.11, отличающийся тем, что контрольные устройства выполнены с возможностью отключать аппаратные средства (101) в отдельных стойках.
13. Вычислительный центр по п.1, отличающийся тем, что коммуникационные стойки (202) имеют устройство для включения электропитания, предназначенное для удерживания величины электрического пускового тока ниже заданного граничного значения.
14. Вычислительный центр по п.1, отличающийся тем, что дополнительно предусмотрен второй охлаждающий контур, имеющий, по существу, такую же структуру, как и первый охлаждающий контур (205), причем участки систем труб первого и второго охлаждающего контура расположены попеременно в каждом ряду коммуникационных стоек (202).
15. Вычислительный центр по п.6, отличающийся тем, что двутавровые носители (203) служат в качестве направляющей и опорной конструкции для подъемного устройства (213, 212).
16. Вычислительный центр по п.14, отличающийся тем, что первый и/или второй охлаждающий контур (205) подключен ко внешнему тепловому аккумулятору.
17. Вычислительный центр по п.14, отличающийся тем, что первый и/или второй охлаждающий контур (205) непосредственно соединен с отопительным устройством отдельного здания или части здания с целью их нагрева, предпочтительно до температуры 17°С и выше.
18. Стойка для компьютерных аппаратных средств (101), предназначенная для размещения в многоярусном стеллажном складе, расположенном в вычислительном центре по одному или нескольким из предшествующих пунктов, которая предоставляет место для размещения компьютерных аппаратных средств (101) и имеет теплообменник (206), предназначенный для соединения с охлаждающим контуром (205), в котором циркулирует жидкое охлаждающее вещество, причем стойка (202) содержит также устройство управления для индивидуального и/или автономного управления узлом (206, 207) теплообменника, отличающаяся тем, что размеры узлов (206, 207) теплообменников выбраны таким образом, что имеется возможность отводить через них все количество тепла, генерируемого компьютерными аппаратными средствами (101), так что в процессе эксплуатации теплый воздух не передается от множества коммуникационных стоек (202) в помещение вычислительного центра.
19. Способ охлаждения конструкции здания вычислительного центра, содержащего множество коммуникационных стоек (202) в многоярусном стеллажном складе, каждая из которых включает в себя место для размещения компьютерных аппаратных средств (101), выделяющих тепло, включающий в себя следующие шаги: транспортируют охлаждающее вещество, по меньшей мере, к некоторым из коммуникационных стоек с помощью первого охлаждающего контура (205), передают все тепло, генерируемое компьютерными аппаратными средствами (101) в коммуникационной стойке, охлаждающему веществу посредством узлов (206, 207) теплообменников, и отводят нагретое охлаждающее вещество от коммуникационных стоек (202), причем узлы теплообменников регулируют раздельно и/или автономно.
Аппарат для очищения воды при помощи химических реактивов | 1917 |
|
SU2A1 |
Перекатываемый затвор для водоемов | 1922 |
|
SU2001A1 |
DE 102005005588 A1, 10.08.2006 | |||
СИСТЕМА ОХЛАЖДЕНИЯ ДЛЯ ПРИБОРНЫХ И СЕТЕВЫХ ШКАФОВ И СПОСОБ ОХЛАЖДЕНИЯ ПРИБОРНЫХ И СЕТЕВЫХ ШКАФОВ | 2004 |
|
RU2318299C2 |
ПРИБОРНЫЙ УЗЕЛ | 2005 |
|
RU2316805C1 |
Авторы
Даты
2014-02-20—Публикация
2009-06-30—Подача