☰
数据中心液冷落地方案笔记:从冷板到CDU的产业链突破
2026/10/14 2:06:00 网站建设 项目流程

最近这一年,我接触到的数据中心项目,几乎都在问同一个问题:能不能上液冷?而且问法已经从“要不要上”变成了“最快什么时候能上”。原因大家心里都有数:以龙虾大模型为代表的这批大参数模型,一上来就是千卡、万卡集群,单机柜功耗从过去的五六千瓦直接飙到六七十千瓦甚至更高,传统的风冷已经压不住热了。这种来自终端算力需求的压力,正在倒逼国产液冷产业链快速补齐短板,从冷板到快接头,从冷却液到CDU,整个供给端都在被推着往前走。

这篇文章不打算给你念PPT式的行业报告,而是结合我在实际项目里的观察和踩坑,把液冷产业链这次“被倒逼出来的突破”拆开看:需求为什么这么急、液冷技术到底怎么选、产业链哪些环节最容易被卡住、落地时哪些参数必须算清楚、运维又会踩哪些雷。一句话概括,这是一份面向从业者的液冷落地方案笔记。

1. 终端算力需求激增:散热从“配菜”变成了“主菜”

1.1 单机柜功耗的三连跳

过去我们做传统机房,一个42U标准机柜里放十几台2U服务器,每台功耗也就300瓦到500瓦,整个机柜的IT功耗大概在5千瓦到8千瓦。这个量级下,机房空调随便吹吹就够用了,散热从来不是决策重点。

到了AI训练场景,情况完全变了。现在主流的AI训练加速卡,单卡功耗已经来到350瓦以上,部分高密度型号甚至逼近700瓦。一台8卡训练服务器,光加速卡就是3到6千瓦,再加上CPU、内存、网卡、NVLink桥接之类的外围设备,整机功耗轻松到7千瓦以上。一个机柜放6到8台这种服务器,IT功耗就是45千瓦到65千瓦。要是再用上更高密度的整机柜交付方案,单柜80千瓦、100千瓦也不是什么新鲜事。

这个数字意味着什么?过去一个机柜的发热量,用风冷空调吹一吹就行;现在一个机柜的发热量,相当于过去整整一个机房的发热量。而且AI训练任务往往是7乘24小时满载跑,峰值功耗就是持续功耗,没有“闲时”这个概念。

1.2 风冷的物理天花板:数据不会说谎

风冷为什么在这个密度下撑不住?得从物理层面看两件事,一是空气的载热能力,二是机柜内的换热面积。

水跟空气的比热容差了大约4倍,换句话说,同样体积的介质升高1摄氏度,水带走的热量是空气的4倍。更要命的是密度,空气的密度只有水的千分之一左右,所以同等流量下,空气能带走的热量和水完全不在一个量级。有人统计过一个直观的数字:1升水每分钟,在10摄氏度温差下能带走大约700瓦热量;而1立方米空气每分钟,在10摄氏度温差下只能带走大约20千焦,换算成功率只有300多瓦。想把60千瓦的热量用风冷排出去,需要的风量大到让人绝望,机柜背后几乎要变成一台喷气式发动机。

这还是理论值,实际工程里还有更现实的天花板。风冷机柜的送风温度通常受限于服务器进风口的温度要求,一般不能超过35摄氏度;机柜前后压差、地板送风风速、噪声指标全部卡在那里。传统舒适性空调能支撑的机柜密度,大概在10千瓦到15千瓦之间就算到头了。再往上堆,就得提高送风风速,结果就是噪声飙升、风机功耗飙升、局部热点频发,PUE也跟着难看。

所以业界的结论非常统一:单机柜功耗超过20千瓦,风冷就不再是首选;超过30千瓦,风冷基本是被迫硬撑,液冷已经是必选项。龙虾大模型这类超大规模训练任务,恰恰就是把这个密度硬生生拉满了。散热这件事,从过去“机房设计时顺便想想”的配菜,变成了今天“先定散热方案再定服务器部署”的主菜。

2. 液冷凭什么接得住:形态、回路和核心设备

2.1 三种主流液冷形态怎么选

液冷不是一种技术,而是一类技术。落地时主要分三条路线:冷板式、浸没式和喷淋式。先把三者的脾气摸清楚,后面选型才不慌。

冷板式液冷是目前最主流、最成熟、也是我项目里用得最多的方案。它的大体做法是:在CPU、加速卡这类高功耗芯片上方贴一块铜质或铝质的冷板,冷板内部有微通道,冷却液从通道里流过,把芯片热量带走,然后再回到换热单元。冷板式最大的优势是跟现有服务器架构兼容性好,整机厂商不需要把服务器重新设计成“潜水艇”,只是在风冷散热器的基础上增加水冷回路,硬盘、网卡、电源这些部件还是走风冷。正因为改动小,它的供应链最成熟,成本也相对可控。目前单机柜做到60千瓦到100千瓦,冷板式完全能扛住。

浸没式液冷则是把整台服务器直接泡在绝缘冷却液里,让发热器件直接跟液体接触。冷却液可以是单相介质(靠升温带走热量,不变相),也可以是两相介质(沸腾相变带走热量)。浸没式的换热效率比冷板式更高,机柜密度能做到120千瓦以上,而且因为没有风扇,噪声几乎为零。缺点是工程复杂度高、介质成本贵、运维逻辑跟传统机房完全不同,服务器一旦泡进去,日常插拔维护就很麻烦。我一般建议只有在追求极限密度或者做实验性集群时才优先考虑浸没式。

喷淋式是相对小众的一条路,原理是用喷头把冷却液直接喷到芯片和发热器件表面,靠液体与器件直接接触带走热量。它的密度介于冷板式和浸没式之间,但喷头容易堵塞、流量分配均匀性难保证,实际项目里我很少看到大规模部署。对大多数常规AI机房来说,冷板式是“做得动、改得动、养得起”的最优解。

2.2 一次侧和二次侧:热量是怎么被“搬运”出机房的

不管哪种液冷形态,整个系统通常被分成两个回路,也叫一次侧和二次侧。先把这两个词说人话。

二次侧是靠近服务器的那一侧,冷却液在机柜内的冷板、快接头、管路里循环,直接跟芯片换热。这一侧的冷却液通常是去离子水加防腐蚀剂,或者加一定比例的乙二醇/丙二醇水溶液,目的是防冻、防腐、防微生物。一次侧是靠近室外散热设备的那一侧,冷却液在冷却塔、干冷器、冷水机组之间循环,负责把二次侧带出来的热量最终排到大气中。

连接一次侧和二次侧的关键设备叫CDU(Coolant Distribution Unit,冷却液分配单元),你可以把它理解成液冷系统的“心脏”。CDU内部有板式换热器、循环泵、过滤器、阀门、流量计和控制器。它做两件核心事情:一是把一次侧和二次侧的液体隔开,二次侧的冷却液只在机房内循环,不直接接触室外设备,这样能确保水质稳定;二是根据服务器负载动态调节流量和温度,保证不同机柜的散热需求。

CDU选型时最关注的参数是换热功率、流量扬程和冗余方式。换热功率不够,再好的冷板也是白搭;扬程不够,冷却液送不到末端机柜;冗余不够,一台CDU故障可能让一整排机柜过热宕机。我在项目里一般要求CDU的泵和换热器做到N+1冗余,控制器支持心跳检测和自动切换。这是液冷系统里最值得花钱的地方。

2.3 一个速算例子:60千瓦机柜需要多大流量

很多团队第一次接触液冷时,对“流量”没概念,直接被供应商给的参数绕晕。这里分享一个我常用的快速估算方法,特别适合做方案评审时心里有个底。

散热量等于质量流量乘以比热容再乘以温差,也就是Q等于m乘以c乘以ΔT。已知水的比热容约4186焦耳每千克每摄氏度,如果我们的目标是带走60000瓦热量(60千瓦),冷却液经过冷板后的温升按10摄氏度设计,那么质量流量就等于60000除以4186再除以10,约等于1.43千克每秒。

换算成体积流量,水的密度约1千克每升,也就是1.43升每秒,约86升每分钟。这个流量算出来后,你就能大概判断管路口径了。DN25的管道截面积约0.0005平方米,流速按2米每秒算,能通过的流量大概是1升每秒,刚好满足这一路60千瓦的散热需求。如果单机柜功率更高,或者冷却液温升设计得比较小,流量就要跟着涨,这时候往往需要DN32甚至DN40的管路,对机柜内部的布管空间就是实打实的挑战。

这句话建议大家抄在笔记本上:流量不够,温差来凑;温差捉急,就得换管径。安排系统方案时,一定要把末端机柜的冷板设计入口温度和允许温升作为一个上游约束条件,而不是让供应商随便拍脑袋定。

3. 产业链被“倒逼”出了哪些突破:从快接头到冷却液

3.1 倒逼效应的本质:小批量定制变成了大批量制造

“倒逼”这个词听起来很战略,落到供应链里其实就是一句话:过去需求量小、利润薄、没人认真做的环节,现在因为AI大模型的爆发,突然变成了大批量、高标准、强交付的刚需。

最典型的例子是快接头。液冷服务器里,冷却液要流经一个个冷板,而服务器在生命周期内免不了要插拔维护。冷板跟歧管之间、机柜跟CDU之间,都必须用无泄漏快接头连接。过去这种快接头主要用在航空航天、医疗设备里,一年也卖不了多少套,价格贵、定制化强,供应链基本被少数海外厂商把持。

现在AI服务器一上量,快接头的需求量从每年几千套涨到几十万套,整机厂商开始用消费电子级别的品控来要求这种精密零件:插拔一万次不漏水、密封圈五年不老化、两端对接时不能有液体洒出。需求和量起来之后,国产精密制造企业终于愿意投入产线做自动化组装和检测,良率爬上来,成本从上百元级别降到几十元级别。这就是一个典型的“需求拉动供给升级”的过程。

3.2 冷板加工和水道设计的快速迭代

冷板是液冷系统里跟芯片直接接触的部件,也是技术门槛最高的部件之一。它的核心难点在内部流道设计:既要让冷却液尽量均匀地流过整个芯片表面,避免出现局部热点,又要控制流阻,不能让泵的功耗吃掉太多系统收益。

现在的AI加速卡面积大、功耗高,一块冷板往往要覆盖GPU裸Die、HBM显存、供电模块等多个发热源。做冷板的厂商需要在铜合金基材上雕刻复杂的微通道,然后通过真空钎焊把盖板密封起来。这个过程对焊接工艺要求极高,稍微有个针眼大小的焊漏,整块冷板就会在高压下漏水。以前这种工艺主要用于军工和高端散热器,产线规模小、验证周期长。因为AI服务器的需求喷发,国内现在一下子涌现出好几条专门做服务器冷板的产线,把铜板加工、焊接、气密性检测、电镀防腐蚀整条链路都跑通了,产线的自动化检测设备也从人工试压升级到了氦质谱检漏。

我在供应商现场看到过冷板的氦检流程:每一块冷板都要抽真空充氦气,用质谱仪检测漏率,漏率超标直接下线。放到两年前,大部分散热器工厂根本没这套设备。这就是终端算力需求倒逼出来的产业链硬实力提升。

3.3 冷却液从“工业辅材”升级为“电子材料”

冷却液这个环节最容易被忽略,但恰恰是国产液冷产业链里变化最明显的一块。过去数据中心如果要用水冷却,无非就是工业乙二醇兑自来水,往冷却塔里一灌,能用就行。

液冷服务器对冷却液的要求苛刻得多。冷却液直接接触冷板、铜管、快接头里的密封圈和阀门,首先电导率不能高,否则一旦泄漏就可能短路,烧掉整块主板;其次pH值要在特定范围内,防止铜和铝发生电化学腐蚀;第三不能滋生微生物,否则细菌膜会堵住微通道;第四要有长期的化学稳定性,不能分解出颗粒物或者气体。

为了满足这些要求,冷却液已经从单纯的“乙二醇加水”变成了配方型产品,里面要加缓蚀剂、杀菌剂、抗氧化剂等一堆添加剂。国内化工企业以前不做这种精细的电子热管理液,现在因为AI数据中心的批量需求,也在快速研发和验证自己的配方。我见过有厂商做稳定性测试,把不同批次冷却液放在高温老化和冷热循环环境下跑上千小时,然后定期取样检测电导率、pH、金属离子浓度和颗粒度。这套验证体系,基本是拿电子化学品的标准来要求冷却液了。

国产冷却液能不能完全替代进口,目前还在验证期,但方向和紧迫性已经很明确。需求在那摆着,供应商不跟上,整机厂就只能花高价买进口货,最后还是会被倒逼出本土方案。

3.4 CDU和整机协同:跨界能力开始补课

CDU这个东西,过去是暖通空调行业的业务范畴,做冷水机组、板式换热器的厂商都有类似产品。但把它跟AI服务器做深度协同,是这两年才被逼出来的事。

服务器负载是动态变化的,训练任务启动、池化、中断,都会让服务器功耗出现分钟级的波动。CDU如果反应慢了,要么冷却液温度偏高导致芯片降频,要么流量过冲导致能耗浪费。这就逼着CDU厂商升级控制系统,从简单的PID调节往更智能的预测调节方向发展,还要支持跟服务器管理接口做联动,让服务器在整机过热前主动预警。

这背后意味着什么?暖通厂商要懂服务器的热特性,服务器厂商要理解水力系统的惯性,两边从“各干各的”变成“联合设计”。我在一个项目里见过,服务器结构工程师跟CDU工程师坐在一起,对着机柜的3D模型一根管子一根管子地核对,光冷板进出水口的朝向就改了三版。这种跨行业协作的磨合,正是产业链升级最真实的写照。

4. 落地实操:从评估到部署的关键流程

4.1 先做三件事:算密度、查承重、定水质

任何数据中心想上液冷,别急着买设备,先花两周时间做摸底。第一件事是统计每个机柜的IT功耗,搞清楚是“大多数机柜都超过20千瓦”,还是“只有零星几个训练机柜超过20千瓦”。这个决定了是整机房做液冷,还是只在局部区域做高密度液冷。第二件事是查楼板承重。水很重!一个机柜满载服务器再加上冷却液和管路,比风冷机柜重不少,特别是一堆CDU和冷水管路集中部署时,楼板能不能扛住必须让建筑专业复核。第三件事是确认现场水质和补水条件。二次侧冷却液要求用去离子水或者软化水,现场如果连纯水制备设备都没有,后面维护会很痛苦。

这三件事做完,再进入方案设计。

4.2 新建机房和存量改造是两条完全不同的路

新建机房做液冷,相对从容。可以在设计阶段就把冷站、CDU、管路末端、备用泵房的位置规划好,做“两路供水”的环网架构,任何一个管段发生故障都可以通过环网切换隔离,不影响整体供冷。管路走向尽量走地板下或者天花板上方,留出检修空间。这种机房我一般会建议直接用冷板式液冷,同时保留一定比例的风冷机柜,用来跑一些低功耗的网络设备、存储节点,省得全部液冷化带来不必要的成本。

存量机房改造就麻烦多了。最常见的痛点是空间和高度:传统机房层高有限,布线桥架和风管已经把天花板占满了,新铺冷却水管路根本找不到路径。机柜布局也可能不支持背对背布置冷热通道的要求。

针对存量改造,我的经验是分两步走:第一步先做“局部液冷改造”,只把功耗最高的两三排机柜改成液冷,CDU放在机柜旁边或者过道尽头,管路走架空地板或者机柜顶部支架;第二步再根据运行数据逐步扩大范围。千万不要一次性把整个机房全改成液冷,改动面越大,风险越不可控。某个项目里我们就是因为低估了存量机房承重问题,最后不得不重新加固楼板,工期硬生生拖了一个月。

4.3 部署过程的七个关键检查点

液冷部署不像风冷设备那样“插上电就行”,它有一套严格的工序,我按项目里的实际顺序给你们列一份检查清单。

第一,管路冲洗。管道安装完先别接服务器,用大流量清水冲洗管道内部,把施工残留的焊渣、铁屑、灰尘全部冲出来。这个环节做不好,后面这些颗粒直接堵冷板微通道,损失不可估量。第二,气密性测试。管路系统充氮气或压缩空气,保压24小时,观察压降是否超标。气密性测试通过后再充冷却液。第三,系统注液排气。冷却液要从低点缓慢注入,把管路中的空气从高点排掉,确保末端冷板内没有气穴。气穴会导致局部断流,芯片瞬间烧毁。第四,冷板安装扭矩。冷板压在芯片上,安装螺丝的扭矩要严格按供应商给的参数来,扭矩太大压坏芯片,太小接触热阻过大。我记得有一次现场师傅图省事,扭矩扳手没校准,结果一批冷板接触热阻偏高,跑负载时芯片温度普遍高了8摄氏度。第五,流量平衡。把所有机柜的支路阀门打开,用流量计逐路调节,确保每个机柜分到的冷却液流量跟设计值一致。第六,泄漏检测联动。在每路快接头下方和CDU地漏处装漏水传感器,并跟服务器电源联动,一旦检测到漏水立即告警,必要时自动关机。第七,满载热测试。全部部署完成后,用真实训练负载或者压力测试工具把服务器跑满,持续烤机24小时以上,记录每个节点的进液温度、出液温度、芯片温度和流量数据,验证是否达到设计散热量。

这套流程下来,基本能把九成以上的初始故障挡在投产之前。

5. 常见问题与排查技巧实录

液冷系统运行中最怕的不是“大故障”,而是“慢性病”。以下问题都是我在不同项目里真实遇到过的,整理成速查表,方便大家直接对照。

故障现象可能原因排查思路解决建议
快接头附近出现渗漏插拔时密封圈损伤或未插到位先擦干渗漏点,观察是滴漏还是渗水;用手轻触接头母座判断是否松动重新插拔一次,更换密封圈;插拔时必须保证两端轴线对齐,不能倾斜用力
冷板处凝露滴水冷却液入口温度低于机房环境露点用温湿度计测机房露点温度,对比冷板进液温度提高CDU二次侧出口水温,确保高出露点2摄氏度以上;必要时在冷板底部加保温棉
某排机柜流量报警支路过滤器堵塞或阀门开度过小检查报警机柜的过滤器压差,听泵的声音判断是否憋压清洗或更换过滤器滤芯;复核该支路阀门开度和设计流量是否一致
冷却液电导率持续上升二次侧混入了杂质或添加剂消耗殆尽取样送检电导率、pH、金属离子浓度停车更换冷却液,或通过离子交换柱在线处理;找出污染源,检查换热器是否有内漏
CDU水泵噪音增大泵叶轮气蚀或轴承磨损检查泵入口压力是否过低,冷却液温度是否过高导致汽化排除泵前管路堵塞,适当降低二次侧水温,必要时更换泵轴轴承
服务器芯片温度缓慢爬升冷板微通道内滋生微生物或沉积颗粒对比冷板进出口压差,如果压差变大说明流道有堵塞在线清洗或拆下冷板离线超声清洗;加强冷却液杀菌处理,定期投加杀菌剂
管路振动异响管卡松动或流速过高产生水锤检查管卡间距和固定情况,用流量计核对流速是否超过设计值增加管卡,调整CDU泵频率,降低流速;重点检查直角弯头附近

除了表格里的问题,我想单独强调两个运维习惯。

第一,漏液检测器的布设位置要用心,不要只放在CDU机房地面上。机柜内部冷板下方的底盘、快接头母座的下方、服务器电源插座的附近,这些才是漏液最容易发生且后果最严重的位置。我见过客户只在每排机柜末端放了一个漏水绳,结果中间机柜接头微漏,滴滴答答流了一天才被巡检发现,幸好没有滴到电源上。

第二,冷却液的定期取样检测一定要做,而且要做记录。很多人觉得冷却液又不跟食品接触,测它干嘛?但液冷系统里的冷却液是消耗品,缓蚀剂会被慢慢消耗,电导率会升高,pH会漂移。我建议每季度取样一次,至少化验电导率、pH、浊度和金属离子浓度,形成趋势曲线。等曲线异常了,说明系统已经有潜在腐蚀或污染,早处理是小钱,晚处理是换整排冷板的大钱。

6. 给即将上液冷的团队:几条实在的建议

6.1 别把液冷当成“空调系统”,要当成“服务器的一部分”

很多团队上液冷时,习惯性地把液冷方案丢给基建部门或者动力环境团队去管,这是一个非常危险的思维惯性。液冷系统的末端是贴在芯片上的,它的可靠性直接决定服务器能不能稳定工作,本质上跟风冷散热器一样,属于服务器硬件架构的一部分。从规划设计到日常运维,都应该有服务器硬件工程师深度参与。

我在项目里吃过这个亏。早期有一批机柜,基建团队把CDU调到他们认为“很合理”的低温模式,进液温度设到20摄氏度,结果服务器侧的冷凝风险极高,冷板全部在“出汗”,最后不得不紧急调整策略,把水温提到35摄氏度以上。水温低了芯片更凉,但冷凝水造成的短路风险远大于那几摄氏度降温带来的收益。这就是典型的“用空调思维管服务器”翻车案例。

6.2 快接头、密封圈和冷却液的材料兼容性必须做全生命周期验证

液冷系统里用到的材料多种多样,冷板是铜,管路是不锈钢或者PEX,密封圈是EPDM或者氟橡胶,冷却液里又加了各种缓蚀剂和杀菌剂。这几样东西放在一起,短期内看不出问题,时间长了就可能发生密封圈溶胀、金属腐蚀、添加剂析出等连锁反应。

我的建议是,在正式规模采购前,让供应商提供材料兼容性测试报告,最好是有第三方实验室出具的报告。尤其要看高温高湿加速老化测试的结论,而不是只看常温下的简单浸泡结果。如果有条件,自己搭一套小规模液冷测试台架,把快接头、冷板、软管、冷却液全部按真实产品组合在一起,跑三个月高温老化,再做拆解检查。这套验证花不了太多钱,但能省掉后面整个集群的返工成本。

6.3 CDU冗余不要省,漏液保护不要凑合

最后再强调一次预算分配。整套液冷系统里,CDU是最值得花钱的地方。泵、换热器、控制器都要做冗余,最好能做到设备级热备,也就是一台CDU挂了,另一台能无缝接管,服务器完全无感知。液冷系统一旦CDU故障导致冷却液断流,机柜里的芯片温度会在几分钟内冲到保护阈值,就算服务器有热保护自动降频,也难免出现训练任务中断。对于动辄跑几天的大模型训练来说,一次中断的代价远高于一台CDU的价格。

另外就是漏液保护,不要省传感器,不要为了好看把传感器藏在不方便维护的位置。漏液检测要分级部署:CDU机房地面、机柜底部、机柜内部冷板下方、快接头附近,能布四层就布四层。报警之后还要有联动策略,至少做到“先断电、再关阀、后排水”,避免漏液扩散。

液冷这波浪潮,本质上不是某个供应商的胜利,而是整个产业链被终端算力的硬需求逼着往前走。冷板加工在卷工艺,快接头在卷寿命,冷却液在卷配方,CDU在卷智能联动。我自己的体会是,无论方案怎么选,永远要把“可靠”放在“好看”前面,把“可维护”放在“参数”前面。液冷系统是个需要长期共处的系统,它不会因为你一次性调试完成就一劳永逸,而是要在一次次运维、一次次故障排查中慢慢磨合成熟。希望这篇分享能让你们在真正动手部署的时候,少走几条我已经替你们踩过的弯路。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询