大型数据中心浸没式液冷与风冷投资所需成本分析

  液冷相较于传统的风冷有节省能源等几个公认的优势。然而，投资所需成本被视为阻碍其部署的常见障碍。本文中，我们第一步论证了在一个总容量为机箱的浸没式液冷相比，初始投资大致相等。由于液冷技术的主要优点是可以高密度紧凑部署，因此，我们又在容量相同的数据中心，量化比较了按每机架的方式部署液冷时的投资所需成本差异。结果显示，采用液冷比传统风冷分别节省了

  IT设备采用液冷并不是一件新鲜事物。它在市场上已存在了几十年。但是以往这种解决方案往往出现在较为小众的应用，比如高性能计算（HPC）和游戏。但是如今，一些重要趋势和驱动因素的出现，使液冷成为更多主流IT用户越来越青睐的制冷解决方案。

  降低对水的需求——在水资源紧张的地区，当地市政部门不断给数据中心行业施加压力。风冷使用大量的水进行蒸发冷却，通常能轻松实现PUE小于1.2。

  节省空间——液冷可显著减少IT系统的占用空间，从而使企业能在全球更多地点部署IT系统，包括亚洲等一些空间受限的地区。

  节能——绿色网格（TheGreenGrid）发布的一份有关能源影响的报告数据显示，液冷能效的提升可实现48%的能源节省。

  然而，人们对液冷的投资所需成本了解有限，并且经常被视为阻碍其部署的常见障碍。在本文中，我们分析了一个总容量为2兆瓦的数据中心采用传统的风冷技术（风冷冷冻水机组）和液冷技术（基于IT机箱的浸没式液冷技术）的成本差异。我们将介绍不一样的功率密度下的液冷技术方案，以显示其对成本的影响。

  图1显示了初投资分析的结果。分析表明，对于相同的功率密度（10kW/机架），风冷和液冷数据中心的投资所需成本大致相等。但是如前文所述，液冷还能轻松实现IT系统的压缩，从而能够节省初投资。与每机架10kW的传统数据中心相比，提升2倍功率密度（每机架20kW）可使初投资可降低10%。如果提升4倍功率密度（每机架40kW），可节省高达14%的投资成本。

  在下文中，我们将详细介绍所比较的架构，描述用于分析所使用的方法论、假设条件和数据，并采用瀑布图的方式逐项比较，指出成本差异的来源。

  该投资成本分析的基准案例是一个使用风冷冷水机组的数据中心。该架构具有以下特点：

  之所以选择此架构作为比较的基准，是因为它是一种性价比较高的设计，并且在中型和大型数据中心应用非常普遍。图2是该架构的总体示意图。

  在本分析中，我们选择了基于IT机箱的浸没式液冷，因为它适合于常见的数据中心机架架构，并且几乎所有热量都可以通过液体进行转移。图3是这种液冷方法的总体示意图。

  基于IT机箱的浸没式液冷基于IT机箱的浸没式液冷可极大地简化基础设施的架构，因为IT设备可以使用温水进行冷却。我们假设入口温度为40°C（104°F），在许多气候条件下，这种温度可以采用100%的自然冷却。图4是分析所使用架构的总体示意图。

  在这种架构中，尽管大部分热量都是通过温水循环管路排出，但配电室仍需要辅助制冷，同时还需转移温水未能完全处理的IT设备热量。从而使环境中的空气温度保持在舒适的体感温度，并确保不超出设备正常工作的环境温度，比如电池和断路器。

  我们首先分析了一个单机架功率密度为10kW，总容量为2兆瓦的数据中心，在采用风冷架构和液冷架构时的成本差异。表1列出了用于架构比较的主要假设。

  服务器风扇能耗假设占服务器总能耗的9%，这是相对保守的数值。实际测量的风扇能耗值为15-20%，尤其是在GPU等高密度计算设备上。在展示结果之前，我们需要说明两个重要的考虑因素，因为它们（1）会影响进行系统的比较能力，以及（2）可以解释新兴液冷技术的成本假设。

  每瓦数据中心成本的归一化——数据中心建设成本通常以每瓦IT容量多少钱来表示。例如，如果一个数据中心最多可以承载2兆瓦的IT负载，并且建造成本为2,000万美元，那么其成本为10美元/瓦。成本可能会因冗余度或架构的不同而有很大差异。

  在比较风冷架构与液冷架构时，我们在计算每瓦IT成本时会遇到一个难题。对于相同的计算能力，液冷具有较低的总IT负载。因为相同的IT计算负载下，风冷服务器的内部IT风扇消耗的电力多于基于IT机箱的浸没式制冷模式下内部微型泵的能耗。为补偿这一点，我们将IT负载定义为“不含制冷的服务器容量”，并将其用作每瓦成本计算中的分母。这一点可参见我们的假设（表1）以及风冷和基于IT机箱的浸没式制冷中的IT总设计容量。

  基于IT机箱的浸没式液冷的成本假设——对于这种液冷架构，为了部署液冷，在IT设备中增加了相关技术和成本支出。为了便于分析，我们汇总了服务器以及机架内部产生的所有成本。这包括：绝缘液，微型泵，管道，热交换器，液冷散热器，防滴漏连接器，密封机箱和机架式分液器。请注意，对于机箱级浸没式液冷而言，能节约风冷散热器和风扇的成本，因此本研究中的成本差异是假定的差值。基于机箱的浸没式液冷技术尚未完全成熟，因此从一次性的计算验证成本到未来优化供应链后的成本，二者可能差异很大。我们对这些成本进行了敏感性分析，估计最高为1.10美元/瓦左右，最低为0.50美元/瓦左右。在本研究中，我们针对10kW/机架选择了0.77美元/瓦的成本，这是一个在任何大规模部署中均可实现的保守值。请注意，如果密度从每机架10kW的基准升高，此值也将提高。我们的研究考虑了成本节省因素，例如在空间压缩时每kWIT的机架分液器和机箱数量会减少。

  许多有关液冷的成本研究都考虑了总拥有成本和成本压缩的一些因素。这样我们就很难了解哪些地方出现了初始成本的节省或成本的变化。本项研究仅针对初投资，首先研究了相同机架功率密度下的投资成本，然后比较了密度增加后的另外两种投资成本情况。

  图5中的瀑布图显示了成本的主要类别及其变化。成本包括设备、安装、设计和项目成本。在10kW每机架的机架密度上，研究显示，100%机箱浸没式液冷数据中心的成本与传统风冷数据中心的成本大致相同。

  冷冻水机组/冷冻水精密空调——节省0.91美元/瓦。这表示的是去掉风冷冷冻水机组和冷冻水精密空调（CRAH）。

  液冷技术——成本增加了0.77美元/瓦。此额外成本是在服务器和机架方面的成本增加。如前所述，这包括密封机箱、绝缘液、液冷散热器、管道、微型泵、热交换器、防滴漏连接器和机架式分液器。

  干冷却器和风冷型精密空调——成本增加0.31美元/瓦。这种架构可以在无压缩机的情况下将热量直接排至干冷器。增加成本的设备包括N+1冗余的干冷器，以及额外的风冷直膨式机房精密空调（CRAC），用于去除温水无法带走的热量。注意这里也能够正常的使用其他架构，比如可以降低冷冻水机组的容量并使用冷冻水精密空调，这对于大型基础设施环境可以获得更多的收益。

  更换泵和管道——成本增加0.03美元/瓦。这一小幅成本增加是对于液冷服务器由于冷却水（CW）管道更换为温水管道。额外增加的管道是因为需要将用于每排机柜的管道下沉到每个机柜并增加阀门。这部分成本的增加与管道保温成本的节省几乎持平。液冷的优点是许多管道不需要保温。在40°C（104°F）的水温下，几乎不会产生冷凝结露。水泵系统为N+1冗余，水环路的设计用于部分机架的维护。熟悉液冷系统的读者可能会注意到，我们没有提到“CDU”。冷却液分配单元（CDU）是一种将设施冷却系统（FCS）与技术冷却系统（TCS）分离的设备，后者是向机架供水。CDU具有多种功能，例如：

  CDU类似于电气设计中的变压器，可将以上两个系统分开以实现多种目的。我们的架构中不包含冷却液分配单元CDU，因为其布局是单层设计，水回路专用于液冷系统，而机箱浸没式换热器非常坚固耐用，可以接受市政用水的水质。根据经验，冷却液分配单元将增加每瓦0.10至0.20美元的投资成本。

  减少UPS和开关设备的容量——节省0.14美元/瓦。无需安装冷水机系统和精密空调可以减少为制冷而配备的开关柜容量。此外，由于IT风扇被微型泵代替，IT负载用电量略有降低，因此所需的UPS和电池也相应减少。

  节省空间、机架和气流遏制系统——节省0.10美元/瓦。尽管没有压缩IT白区空间，但通过减少冷却系统的开关设备和UPS系统节省了设备安装空间。节省的费用还包括与空间相关的其他相关成本，如灭火器、照明等。此外，液冷不需要任何气流遏制系统，因此可以不考虑其投资成本。

  我们在概述部分提到，液冷的公认优势之一是能够压缩IT设备容量并节省空间。但是，除了节省空间外，这种压缩还可以减少IT机架和机架PDU的数量。在本节中，我们计算了使用IT机箱浸没式液冷时，提升2倍功率密度和提升4倍功率密度的数据中心的总投资成本，并将这些方案与我们之前所述的基准功率密度10kW每机架的风冷数据中心进行了比较。以这种压缩为前提，表2列出了关于机架功率密度和机架数量的新假设。所有其他的假设与表1中的原始液冷方案相同。

  我们首先从提升2倍功率密度开始分析，这意味着液冷的每机架功率密度为20kW，而风冷架构的密度为每机架10kW。图6显示实现10%的投资成本节省。

  图6 风冷数据中心与液冷数据中心的每瓦成本差异，液冷提升2倍功率密度后（每机架20kW）

  冷水机/冷冻水精密空调——$节省0.91美元/瓦。节省的费用与每机架10kW的情况相同，并且去除了冷冻水机组和冷冻水精密空调单元。

  液冷技术——成本增加0.71美元/瓦。与每机架10kW方案相比，成本增加的幅度较小。当提高机架密度时，由于需要的机架分液器减少，因此成本得到改善。

  干冷器和风冷精密空调——成本增加0.31美元/瓦。这与每机架10kW时的情况相同，因为总IT负载和相关损耗相同。

  更换泵和管道——节省0.03美元/瓦。尽管与风冷系统相比，每排机架都需要管道，但随着IT空间的缩小和机架功率密度kW值的提升，与每机架10kW方案相比，所需的管道和阀门减少。请注意，通常管道直径会随着密度的增加而增加，但管道之间的价格差并不像机架数量减少那样明显。

  减少UPS和开关设备的容量——节省0.14美元/瓦。这与10kW方案相同，因为机架密度不会影响UPS和开关柜的容量。

  节省空间、机架和气流遏制系统——节省0.63美元/瓦。节省的大量成本包括建筑围护结构的节省、机架和机架PDU数量的减少以及机架上用于支持布线的结构的减少。由于减少了IT空间，也节省了消防和照明相关成本。

  接下来我们比较一下提升4倍功率密度后的液冷架构的成本，即每机架40kW，而风冷为每机架10kW。随着功率密度的增加，投资成本的节省幅度也随之增加。图7显示实现14%的投资支出节省。

  图7 风冷数据中心与液冷数据中心的每瓦成本差异，液冷提升4倍功率密度后（每机架40kW）

  通过进一步压缩实现的大部分节省来自两个领域。机架级液冷设备的成本更低，而IT空间缩小也降低了相关成本。

  冷水机/冷冻水精密空调——$节省0.91美元/瓦。节省的额度与每机架10kW和每机架20kW的方案相同，并且去除了冷冻水机组和冷冻水精密空调装置。

  液冷技术——成本增加0.68美元/瓦。与每机架20kW方案相比，成本增加的幅度较小。当增加机架功率密度时，此成本有所改善。需要的机架分液器减少，从而降低了这个类别的每瓦总成本。

  干冷器和风冷精密空调——成本增加0.31美元/瓦。这与每机架10kW和每机架20kW的情况相同，因为总IT负载和相关的损耗完全相同。

  更换泵和管道——节省$0.04/瓦。与每机架20kW方案相比，节省幅度略有上升，因为IT空间的减少，因此需要供水的机架减少。

  减少UPS和开关设备的容量——节省0.14美元/瓦。这与每机架10kW和每机架20kW案例相同。

  节省空间、机架和气流遏制系统——节省0.90美元/瓦。与20kW/机架的设计相比，额外节省0.27美元/瓦。节省的大量成本包括建筑围护结构的节省、机架和机架PDU的减少以及机架上用于支持布线的结构的减少。由于IT空间的缩小，也节省了消防和照明相关的成本。

  液冷已经存在了很多年，但最近却被越来越多的主流数据中心应用所采用。尽管这种模式在节能方面优势明显，但有些人仍担心其投资成本。本文分析了在采用相同的机架密度时，部署基于IT机箱的浸没式液冷的投资成本与风冷系统大致相同，并且在将IT设备（以及机架）提升四倍功率密度时能节约多达14%的成本。尽管基于IT机箱的浸没式液冷还不是一项成熟的技术，但这些成本优势预示着近期会出现大规模部署的趋势。随着液冷技术和制造效率的改进，可以预见，这种模式还会进一步节省成本。

  数据中心机房多年来一直处于使用机房专用精密空调做为主要散热设备。随着计算机设备的更新换代，IT设备的功率密度越来越高，机房面积越来越大，机房的数量慢慢的变多，世界能源越来越紧张。在全球能源问题日趋突出的情况下，虽然机房空调制冷能效比有所提高，但所耗费的电能仍然太高，一直困扰着机房运营商与用户。

  2020年1月9日，2019中国国际金融展“金鼎奖”获奖名单公布。曙光凭借为中国建设银行总行武汉南湖数据中心(以下简称“南湖中心”)建设的“液冷绿色节能数据中心”，获得2019年度优秀金融科技解决方案“金鼎奖”。主办方介绍，“金鼎奖”由中国国际金融展组委会，从品牌影响力，产品核心竞争力及成功应用案例等维度对各参评项目进行综合测评判定选出。除曙光外，...