摘要：本文基于实际机房的需求模型，对冷板式液冷数据中心机房中的系统设备进行了设计选型介绍和平面布局的规划设计，并据此对冷板式液冷数据中心的设计PUE和WUE进行了详细的计算。
关键词：液冷、冷板式液冷、CDU、PUE、WUE。
1 液冷技术的现状
目前市场上存在三种主流液冷方式，分别为冷板式液冷、浸没式液冷和喷淋式液冷，具体如下图所示。
图1：三种液冷方式
冷板式液冷技术，依托于服务器厂家的研发和制造，是我国最早采用的液冷方式，成熟度较高，应用较广泛。目前，联想、浪潮、新华三等IT设备厂商都推出了自己的冷板式液冷的相关技术和产品，并在数据中心行业内有了一定规模的应用案例。
2 冷板式液冷系统的技术原理
整个冷板式液冷系统可分为一次侧循环和二次侧循环。液冷服务器通过管道与冷量分配单元CDU的二次侧连接，用以转移液冷服务器的热量，此为二次侧循环。冷量分配单元CDU的一次侧通过管道与冷源连接，用以对外散热，此为一次侧循环，其具体原理如下图：
图2：冷板式液冷的技术原理图
3 兰洋科技对液冷技术的积极探索和实践
作为数据中心基础设施的头部厂商，兰洋科技一直在跟踪整个行业液冷技术的发展及技术演变，并推出了自己的Vertiv™ Liebert® VIC 浸没式液冷解决方案。同时从2017年开始，我们和IT设备厂家联想携手合作，先后完成了北京大学、北京邮电大学、五邑大学及北京气象局等几个场地的冷板式液冷数据中心项目的集成交付工作，探索并积累了一定的项目经验。基于此，下面我们以实际项目需求模型为例，对冷板式液冷数据中心各系统的设计选型要点及设计PUE和WUE进行了较为详尽的介绍和分析，具体如下。
4 冷板式液冷解决方案各系统选型及PUE的计算
4.1冷板式液冷机房的具体需求及平面布局图
冷板式液冷数据中心是离不开风冷解决方案的，其一般采用温水制冷技术，温度范围一般在35-55℃左右，可满足高功耗IT 设备的散热。通常采用板式液冷带走高功耗元件热量（包括CPU、GPU、VR、DIMM 等部件），此部分热量可占整机散热量的60-80%左右，其它部件仍然需要采用风冷解决方案将热量带走。
如下表1所示，在本项目需求模型中此数据中心共计536.18KW的IT设备功率，其中液冷IT功耗为401.93，风冷IT功耗为135.15，风冷IT功耗占IT总功耗的25%。
表1：冷板式液冷机房基础设施设计需求汇总表
根据如上项目需求模型，按照冷板式液冷解决方案规划主机房的整体布局如下图：
图3：冷板式液冷机房平面布置图
室内水泵房需要30m²的空间布置水泵、水箱、定压补水装置等。室外需要110m²的空间布置闭式冷却塔及风冷列间空调的室外机。
4.2 一次侧冷源的选择
一次侧冷源有多种组合方式，可根据项目条件、室外环境温度、液冷服务器的进液温度等确定。本项目需求模型中选择闭式冷却塔。由于要计算整个项目的设计PUE值，因此将每个设备的选型及功耗分别叙述如下：
4.2.1闭式冷却塔
在本项目需求模型中，冷却水系统制冷量需求为401.9KW，考虑10%的冗余安全系数，设计制冷量按照442KW计算，因此单台闭式钢制冷却塔散热量按照442KW选型，冷却水供回水温度按38/43℃，选型后冷却塔功率为16.5kW。
4.2.2冷却水循环泵
闭式钢制冷却塔散热量为442KW，供回水温差为5℃，则冷却循环水总设计流量Q为：
Q=442÷1÷5=88.4m³/h，其中1为30%乙二醇的换算系数，单位为w·h/kg·℃。
冷却水系统设置2台冷却水循环泵，单台水泵流量选择为88.4m³/h，扬程28m，功率：11kW， 1用1备，启停与冷却塔联动控制。
4.2.3补水
闭式冷却塔补水为塔体本身蒸发耗水、漂水和排污补水，一般按系统水流量的1%计算，在本项目需求模型中系统水流量88.4m³/h，则系统补水水量按0.88吨/小时，定压补水装置功耗1.5kW。
4.3CDU的选型
CDU冷却水分配机组的额定冷却功率是在某个特定水温和流量工况下的计算值。当实际使用的水温和流量有变化时，需依据相关参数对实际冷却功率、水温和流量进行核算。
CDU冷却水分配机组的额定冷却功率计算公式如下：
为满足核算的要求，需提供以上7个参数中的5个，其中关于初级冷却水和二级冷却水的参数至少有2个。
在本项目需求模型中，服务器水冷散热量为401.9KW，考虑10%的冗余安全系数，CDU额定冷却功率按照442KW计算，一次侧出水温度为43℃，一次侧进水温度为38℃，一次侧循环水量88.4m³/h，二次侧出水温度50℃，二次侧温差取7℃，则：
二次侧循环水量54m³/h，二次侧进水温度57℃。
选用2台CDU，一用一备，单台CDU功率4.3kW。
4.4冷却水系统图
根据液冷服务器的运行要求，配套冷却水系统为换热单元CDU提供冷却水。按照以上各设备的选型，冷却水系统一次侧由2台闭式钢制冷却塔（1用1备），2台立式离心水泵（1用1备），一套定压补水装置及2台换热单元CDU组成（1用1备），冷却水系统图如下：
图4：冷却水系统图
4.5 冷源自控系统的选型
4.5.1系统概述
冷板式液冷数据中心一般包含动环监控系统和冷源自控系统。动环监控系统主要监控机房环境、配电、空调、消防等设备。冷源自控系统主要监控一次侧循环设备和CDU，具体架构如下：
图5：监控系统图
为了便于实现统一管理，可以把冷源自控系统的状态及数据上传到动环监控系统主机上。用户可以通过动环监控系统统一浏览查看冷源自控系统的状态。
4.5.2 冷源自控系统的组成及架构
冷源自控系统主要负责一次侧循环设备和CDU的监控，由冷源自控控制器、水泵流量计、压力传感器、温度传感器、电动阀、冷却塔传感器、CDU监控、其他传感器及显示屏组成，系统架构如下：
图6：冷源自控系统架构图
4.5.3 冷源控制器选型
冷源自控系统目前常用的有PLC或DDC两种方案。PLC性能稳定可靠，功能开发灵活（如热备、定时轮循等）、选型种类较多、扩充方便，工业级可以适应复杂环境。DDC更适合大楼暖通系统的控制，开发调试较为容易。
考虑北方冬季气温低，运行环境复杂的特点，在本项目需求模型中采用了PLC方案。
4.6冷板式液冷方案中风冷列间空调的选型
目前IT设备风冷负荷为135KW，机房面积为83m²，机房环境热负荷为83m²*0.08KW/m²=6.64KW,总热负荷为135+6.64=141.64KW,选择8台CR025系列风冷列间空调(带氟泵)，采用6用2备的运行方式，单台CR025系列风冷列间空调（回风35℃）的制冷量为24.8KW，平均运行功率按照4.1KW进行计算。
4.7 UPS和变压器的选型
在本项目需求模型中IT设备额定功率为536.18KW,选择兰洋科技EXL系列600KVA的UPS（输出功率因数为1）组成双母线系统为IT设备供电，单台UPS的后备电池时间为15分钟。
冷却塔、水泵、CDU、风冷列间空调等动力设备的总功耗为57.9KW，照明负荷为1.695KW，监控负荷为0.84KW，加上IT设备的功耗，总负荷为596.62KW，考虑一定的发展裕量，因此选择SCB10系列800KVA的变压器。
4.8 额定负载下设计PUE的估算值
按照如上选型，各系统功耗汇总如下：
(1）IT设备功耗
IT设备功耗为536.18KW。
(2) 水系统、CDU的能耗、列间空调部分的能耗
冷却塔功率为16.5kW，冷却水循环泵功率为11kW，定压补水装置功耗为1.5kW，单台CDU功率为4.3KW。单台CR025系列风冷列间空调功率为4.1kW，6台（8台空调，6用2备）空调运行功耗为6*4.1=24.6KW。
制冷部分能耗为16.5+11+1.5+4.3+24.6=57.9KW
(3) 配电系统能耗
SCB10系列800KVA的变压器单台负载损耗为2.53KW，两台为5.06KW。600KVA的单台UPS 在负载率50%左右时，效率按照97.5%计算（基于UPS的动态在线模式计算），则单台UPS的损耗为(536/2)/0.975-(536/2)=6.87KW，2台UPS的损耗为13.74KW。电池损耗、配电柜及线路损耗这三项按照经验估算为596.62*0.006=3.58KW。以上总计为5.06+13.74+3.58=22.38KW。
(4)弱电系统的能耗
自控、门禁、视频等弱电系统的平均运行功率估算为0.84KW。
(5)照明的能耗
按照15W/m²来估算，机房照明负荷为0.015W/m²*（83+30）m²=1.695KW。
(6）100%负载工况PUE计算表
4.9 额定负载下设计WUE的估算值
在本项目需求模型中，闭式冷却塔需要考虑塔体本身蒸发耗水、漂水和排污补水，系统补水水量为0.88吨/小时，即等于880L/小时（由于CDU的二次侧去离子水的补水量非常少，因此予以忽略）。数据中心水资源使用效率如下：
WUE=Wtotal/Eit=(880*8760)/(536.18*8760)=1.64
全年消耗总用水量Wtotal为7708.8吨。
5 实施注意事项
冷板式液冷数据中心的建设需求与IT设备（尤其是与服务器设备）强相关，当使用不同的IT厂家设备时，机柜尺寸、机柜布局、单机柜功耗、单机柜冷却方式、机柜电源电压等级、电源接口形式、单机柜流量、进出水温度、机柜重量、综合布线需求等都会有所不同。因此了解好以上IT机柜的具体需求是做好基础设施配套系统最关键的因素。
特别值得一提的是关于机柜及CDU的尺寸问题，尤其是在图3所示的微模块形式的数据中心中。如果在具体项目中是由基础设施的厂家来提供机柜和CDU，那么连同列间空调的尺寸会统一规划考虑，一般不会有问题。但如果机柜是由IT设备厂家成套，要特别注意确认好机柜的尺寸信息，否则尺寸不统一货到现场后会很难处理。重新统一尺寸会面临货期及造价增加的问题，不统一尺寸实施后无法做到整齐美观，非常影响参观效果。
6 结语
任何事物都会有两面性，冷板式液冷解决方案也不例外。从行业发展角度去看，存在的就是合理的，所有解决方案都是行业整体某个发展阶段的必然产物，只是不同的用户会选择不同的解决方案来应对自己的需求。无论各自占比多少，目前数据中心市场确实进入到了风冷和液冷并存的时期。
由于冷板式液冷解决方案首先是基于服务器级别的解决方案，只有用户在IT层面先选择了液冷服务器，然后才会使用相关的液冷基础设施的各种配套系统，因此液冷服务器的应用与发展情况决定了基础设施层面液冷解决方案的整体应用与发展情况。
对大多数用户而言，先在IT层面分清液冷服务器和风冷服务器的使用场景非常重要。以数据中心基础设施的视角去看，现阶段在单机柜30KW以上甚至更高功率密度的高性能计算以及对PUE有极致要求的场景下，液冷会更适合。
