數據中心高效液冷散熱系統設計
崔康吉，余亮 CDCC 2023-08-15 11:04 發表于北京

摘要：隨著數據中心能耗的急劇增長，使之成為雙碳目標達成的重點監控目標。文章針對數據中心中功耗大于 200W 的高功率芯片，沿著散熱路徑，采用液冷散熱技術，經過液冷冷板、機架級液冷、機房級 CDU 液冷工質分配系統與精密空調的協同工作，使用液冷工質取代空氣作為傳熱介質，有效提升了散熱效率，數據中心散熱系統的能耗占比從現在的 37% 降低到了 10% 左右 , 節能減碳效果非常明顯。

關鍵詞：能耗；熱量；液冷；冷板；液冷分配單元

0 引言

人工智能、 5G 通信、網上購物、手機支付、健康掃碼等數字經濟的加速應用，背后有配套的數據中心作為支撐。隨著數字經濟的發展，我國數據中心整體用電量飛速增長，成為重點監控的高能耗行業。 2021 年 10 月 18 日，國家發展改革委印發《關于嚴格能效約束推動重點領域節能降碳的若干意見》，推動重點工業領域節能降碳和綠色轉型，堅決遏制全國 “ 兩高 ” 項目盲目發展，確保如期實現碳達峰目標，要求到 2025 年，數據中心達到標桿水平的產能比例超過 30% ；到 2030 年，行業整體能效水平和碳排放強度達到國際先進水平，為如期實現碳達峰目標提供有力支撐。

在數據中心中，影響能耗的主要因素是： IT 設備、散熱系統、供電系統等，其中 IT 設備占數據中心總能耗的 50% ，散熱系統占總能耗的 37%[2] 。 IT 設備的能耗屬于基礎能耗，短時間很難明顯降低；散熱系統的能耗降低與高效運行成為節能降耗的首選目標。

1 數據中心散熱系統的構成

IT 設備所消耗的電能大部分會轉變為廢熱，為了讓 IT 設備在合適的工作溫度下正常運轉，數據中心配置了冷水機組、冷卻塔、精密空調等設備的制冷與散熱系統，將廢熱排出數據中心，傳熱過程如圖 1 所示。其中冷水機組、冷卻塔、水泵、精密空調是能耗關注的重點。

圖 1 數據中心熱量傳遞圖

當前數據中心的傳熱介質基本上為：空氣或者水。其中水的定壓比熱容為 1.004kJ/ （ KgK ），水的比熱容為 4200kJ/ （ KgK ） [3] ，水的帶熱能力是空氣的 1000 倍左右。因此在散熱系統的設計中，采用水作為散熱介質是一種有效的節能手段。為了提升制冷系統的能效，在熱量采集側，采用高效散熱器與精確送風等手段，將熱量傳遞出來；在精密空調側，從房間級制冷發展到模塊化機房、機架級制冷，更加靠近熱源，減少冷媒輸送過程的能耗；在冷源制備環節，從風冷向水冷、自然冷卻發展，提升外部熱量傳遞效率。

傳統散熱系統中精密空調、冷機、冷卻塔為具有各自的控制系統與運行策略，效率優化在局部運行，單體已經做到最優，但在整體上散熱效率還需要進一步提升。

要系統性的改善散熱效率，需要從熱量采集、冷源制備、外部熱量傳遞等端到端進行協同管理和精細化控制，從而降低散熱系統的功耗。

2 端到端的液冷散熱系統設計

2.1 板級液冷散熱設計

隨著算力需求的大爆發， CPU 與 GPU 的集成度與功耗均出現了指數級增長，單芯片功耗已經攀升到了 300W[4] ，傳統的芯片散熱器與風冷散熱方案遇到了散熱瓶頸。芯片是熱量的源頭，如何將芯片內部的熱量帶出來，是數據中心散熱系統解決的首要問題。

從散熱路徑上看，芯片發出的熱量首先需要經過芯片內部傳遞到板級散熱器，更加高效的散熱器方案會更加有利于熱量的收集與采集。

對于功耗低于 200W 的單芯片，單機架功耗小于 20kW 的 IT 設備配置 [5] ，可以繼續使用空氣作為傳熱介質，采用熱管散熱器與 VC 散熱器，配套使用高傳導系數的 TIM 材料（比如石墨片 / 石墨烯等），有效地減少了芯片與散熱器基板之間擴散熱阻問題，提高散熱器的散熱效率。

對于功耗大于 200W 的單芯片，單機架功耗大于 20kW 的 IT 設備配置 [5] ，繼續使用空氣作為傳熱介質，芯片的熱量已經無法傳遞傳來，需要使用液體工質進行散熱。液冷冷板散熱是目前比較成熟的板級芯片散熱技術。液冷冷板包括進液接頭、出液接頭、上蓋板與底板，上蓋板與底板之間通過真空釬焊工藝連接起來，形成密封的液體換熱腔體，腔體內部根據芯片的位置與散熱需求設置分液腔與不同寬度的導流溝槽，實現液體流動的節流控制與增加擾流，增強冷板的局部散熱能力，消除高功率芯片造成的熱點散熱瓶頸，內部構造如圖 2 所示。

圖 2 液冷冷板的剖面圖

在同一個機架中存在不同種類的單板，其功率與熱點是不一樣的，但是供液管路在進液接頭處的供液壓力基本相同，因此需要通冷板的分液腔進行節流控制。對于芯片功耗比較低的單板，采用節流控制，減少工質的流量供應。液冷散熱的冷板在實際設計時，覆蓋了的 CPU 、內存與其他高功率器件，但還有電阻、電容等大多數器件沒有覆蓋，就會產生少量余熱，需要通過風扇進行散熱，導致在系統中液冷散熱與空氣散熱并存，散熱效率還有提升的空間。冷板設計時，通過 TIM 材料與所有器件實現搭接覆蓋，在技術上可以實現 100% 液冷散熱，冷板的成本與復雜度隨之增加。在追求高效散熱的同時，還要綜合考慮初始成本的投入。如果節點單板的種類單一，可以考慮使用全覆蓋的單板，初始成本可以通過發貨量的提升帶來成本降低的抵沖，從而實現節能降碳與投入的平衡。

對于冷板式散熱而言，采用液體工質通常為去離子水，比熱容高，能夠快速吸收熱量，同時可以做到無腐蝕性，對管路的可靠性無影響。冷板液冷散熱屬于間接式液冷，芯片與液態工質不直接接觸，可靠性高，技術成熟。但是在芯片與液態工質之間存在熱阻，因此部分廠家在推廣浸沒式液冷方案。 IT 設備浸沒在液體里循環冷卻，芯片與液冷工質直接接觸，減少了熱阻，同時利用工質相變過程帶走更多的熱量，成為液冷散熱中的新熱點。浸沒式液冷最常使用的工質為氟化液，目前工質的成本比較高，成為大規模商用的障礙。

2.2 機架級液冷散熱

在數據中心中， IT 設備是以機架為單位進行布置。機架用于容納數據中心的信息設備，比如：服務器、存儲器、網絡交換機等。板級散熱將單個 IT 設備的熱量帶出來，還需要整機架將熱量匯集并傳遞到室外。在機架級液冷散熱中，主要組成部分包括進出水 Manifold 、監控單元、溫度傳感器、電磁閥與單向閥等，如圖 3 所示。

圖 3 機架級液冷配置圖

進出水 Manifold 對外連接到機房級的液冷分配單元，對內通過快接頭連接到液冷冷板的進液接頭與出液接頭，系統熱量通過 Manifold 傳遞到機架外側。

電磁閥與單向閥的主要功能是用于控制液體的流動，防止出現漏液時故障范圍控制在單個機架內。

溫度傳感器的主要作用實時檢測進出水溫度，利用進出水的溫度差，對電磁閥門開度進行控制，實現對進出水流量的控制，確保熱量與流量相匹配。

液冷系統采用的工質為去離子水，理論上不會造成短路，但是電路板或電子部件往往有灰塵顆粒雜志，去離子水接觸電路板后會造成短路，這也是液冷散熱在實施中遇到的最大阻力與疑惑。對于冷板泄露問題，需要從質量管控、微量泄露監控、突發大量泄露預防等手段進行控制。質量管控分為生產環節與安裝應用環節。在生產環節，確保工藝可靠， 100% 冷板進行保壓測試，使用超聲波進行抽檢探傷；快速插拔接頭要進行有效插拔次數與長期可靠性驗證。在安裝應用環節，要確保二次管路在安裝之前沖洗干凈，防止雜質顆粒造成快接頭堵塞、彈簧卡頓、橡膠圈失效等故障隱患，從而在運行中造成泄露，上述的手段與措施主要是用于保證盡可能不發生泄露。

如果冷板發生了微量泄漏，需要能夠實現檢測并告警，提示維護人員盡快維修。檢測方法包括兩種：一種是采用水浸傳感器檢測，水浸傳感器安裝在積水盤上。積水盤的主要作用是出現漏液時，便于漏液檢測，同時防止液體泄漏到機架外，減少故障擴散。水浸傳感器檢測成熟可靠，但需要等到泄露的工質沿著硬件單板與機架安裝件匯集到積水盤，此時泄露工質的總量已經很多大，在流動的過程中可能已經造成單板與器件損壞。另外一種就是實時監測。在工質中混入沸點較低的示蹤物質，當發生泄漏時，通過單板內置的氣體傳感器進行檢測。對于突發的大量泄 l 漏，概率比較低，但影響很大，在機架級 Manifold 進出水管路入口處增加單向閥，當出現較大壓力差時單向關閉。

2.3 機房級液冷散熱設計

機房級散熱就是要將機架傳出來的熱量傳遞到室外。機房級液冷方案包括液冷模塊化機房、冷水機組、水泵、冷卻塔、管路等，如圖 4 所示。

圖 4 機房級液冷配置圖

通常情況下，一個液冷模塊機房內部包括 2 個備份的液冷分配單元 CDU 、 10-20 個 IT 機架、 1-2 個行級空調、供配電設備，如圖 4 所示。

液冷分配單元 CDU 用于進行 IT 液冷機架間的液體工質分配系統，提供二次側流量分配、壓力控制、物理隔離、防凝露等功能。在實際運行中， CDU 提供一定流量、一定溫度的冷卻水進入 IT 液冷機架，通過 Manifold 進入液冷冷板，帶走處理器與關鍵部件發出的熱量，被加熱的冷卻水回流到 CDU 的中間換熱單元，將熱量釋放到室外回水管路中，該部分熱量再通過冷水機組或者干冷器排放帶到室外環境中，完成對液冷服務器的熱量管理。

液冷分配單元 CDU 通過調節送入液冷冷板的工質溫度與流量從而向 IT 機架提供冷量，起到冷量分配的作用，內部的換熱單元也起到模塊化機房與室外的供液回路的隔離的作用。 CDU 的作用非常關鍵，因此通常采用 1+1 備份。 CDU 對于液態工質的流量控制，是通過檢測進出水溫度與供液壓力，控制供液水泵的轉速完成。目前大多數的 CDU 控制系統并沒有實現與機架內的溫度檢測聯動，因此在控制上相對粗放。為了解決上述問題，部分應用將集中供液的 CDU 改為分布式 CDU ， CDU 內置到機架中，這樣 CDU 的流量調節就完全依照機架內的業務運行狀態與功耗波動。集中式 CDU 適合于液冷散熱的機架數量多，可以整合成一個模塊化機房的情況；分布式 CDU 適合于液冷散熱的機架數量只有 2-3 個，方便部署。

3 結語

在雙碳目標的牽引下，數據中心承載著雙重使命：一方面通過集約化與規模化的運作，為數字經濟提供充足的算力。在數據中心算力效能的牽引下，高密度機架與高功耗芯片的普遍應用，使傳統的風冷散熱遇到了瓶頸；另一方面借助高效散熱器液、液冷散熱、干冷器自然冷源等多種技術，降低自身的能耗。采用了液冷散熱之后，散熱效率顯著提升 [6] 散熱系統能耗占比從 37% 降低到了 10% 左右，節能減碳效果非常明顯；如果全國 50% 的新建數據中心采用液冷散熱形式建設，每年可以節省 450 億度電，減排 300 萬噸二氧化碳 [7] 。

參考文獻：

[1] 中國能源電力發展展望 2020[R]. 北京 . 國家電網國網能源研究院 2020.

[2] 鐘景華，傅烈虎 . 新基建 : 數據中心規劃與設計 [M]. 北京 . 電子工業出版社 2021.

[3] 中國通信標準化協會開放數據中心標準推進委員會 . 冷板式液冷 M. 北京 . 化學工業出版社， 2019.

[4] 英特爾至強 Platinum 處理器 [M]. 英特爾公司 .2021.

[5]DatacomEquipmentPowerTrendsandCoolingApplica-tions ， 3rdEdition[M].ASHRAE.2018.

[6]T/CCSA269-2019 ，數據中心液冷服務器系統總體技術要求和測試方法 [S] 沖國通信標準化協會， 2019.

[7] 清華大學氣候變化與可持續發展研究院 . 讀懂碳中和 [M]. 中信岀版集團 2021.118.

來源：數據中心基礎設施運營管理