隨著高密度計算興起，芯片、服務(wù)器性能和單機(jī)柜功率密度持續(xù)提升，浸沒式液冷開始受到青睞。

圖片來源：intel

在《碟中諜5》中有這樣一個場景：一座位于摩洛哥的數(shù)據(jù)中心被直接“泡”在了水里，為了讓自己的技術(shù)支持班吉·鄧恩通過一個需要步態(tài)識別的走廊，阿湯哥縱身一躍，跳入了漩渦之中，順著水流就被推入了計算機(jī)中樞，從而黑掉了安保系統(tǒng)……

這部電影的上映時間是2015年，場景看似科幻，但其實(shí)就在同一年，阿里云已經(jīng)開始進(jìn)行浸沒式液冷技術(shù)的概念驗(yàn)證。

所謂浸沒式液冷，就是將布滿密密麻麻紅黃色線頭的服務(wù)器浸泡在水一樣的液體里，只是這些液體并不是普通的水，而是特殊的絕緣冷卻液，服務(wù)器運(yùn)算中產(chǎn)生的熱量被冷卻液吸收后，再進(jìn)入外循環(huán)冷卻。

數(shù)據(jù)中心的能耗大致由通信及網(wǎng)絡(luò)設(shè)備?供電配電系統(tǒng)?照明及輔助設(shè)備和冷卻系統(tǒng)組成,其中冷卻部分的能耗約占數(shù)據(jù)中心總能耗的40%左右?

以往由于風(fēng)冷成本低、部署簡單，一直被廣泛使用。但近年來，隨著高密度計算興起，芯片、服務(wù)器性能和單機(jī)柜功率密度持續(xù)提升，浸沒式液冷開始受到青睞。

以阿里云在杭州的云數(shù)據(jù)中心為例，作為國內(nèi)規(guī)模最大的全浸沒液冷集群，整體節(jié)能超70%，年均PUE低至1.09。相比傳統(tǒng)數(shù)據(jù)中心，每年可以省電7000萬度，相當(dāng)于西湖周邊所有路燈連續(xù)點(diǎn)亮8年的耗電量。

尤其是今年2月，我國“東數(shù)西算”工程正式全面啟動。其中，提出了三個發(fā)展方向：綠色節(jié)能、算力調(diào)度、安全可靠。綠色節(jié)能被放在了優(yōu)先位置。

“無論從政策角度、市場需求還是技術(shù)成熟度來講，均標(biāo)志著數(shù)據(jù)中心進(jìn)入‘液冷時代’。”中國電子節(jié)能技術(shù)協(xié)會秘書長呂天文此前在2022數(shù)據(jù)中心液冷技術(shù)研討會上說道。

數(shù)據(jù)中心的能耗焦慮

數(shù)據(jù)中心的概念起源于20世紀(jì)50年代末，當(dāng)時美國航空公司與IBM合作，創(chuàng)建了一個屬于美國Sabre公司的乘客預(yù)定系統(tǒng)，使其主要商業(yè)領(lǐng)域的這一部分變得自動化。

不過，早期的數(shù)據(jù)中心還只能靠幾臺大型主機(jī)完成本地數(shù)據(jù)計算，不僅不能做分布式運(yùn)算，也無法對外提供服務(wù)。直到90年代中期，互聯(lián)網(wǎng)出現(xiàn)并對市場產(chǎn)生了巨大影響。隨著公司對互聯(lián)網(wǎng)業(yè)務(wù)應(yīng)用的支撐需求，數(shù)據(jù)中心作為一種服務(wù)模式為大多數(shù)公司所接受。

2010年以后，隨著云計算技術(shù)的興起，云數(shù)據(jù)中心又逐漸走進(jìn)了大家的視線。與之前相比，云數(shù)據(jù)中心的基礎(chǔ)設(shè)備更加規(guī)?；?、標(biāo)準(zhǔn)化和智能化，建設(shè)成本更低、承載的業(yè)務(wù)更多。

回顧數(shù)據(jù)中心發(fā)展歷史不難發(fā)現(xiàn)：數(shù)據(jù)逐漸成為了新型生產(chǎn)要素，對于生產(chǎn)力發(fā)展的重要性在不斷提升。

在我國，自2020年數(shù)據(jù)中心被納入“新基建”以來，各地數(shù)字化相關(guān)產(chǎn)業(yè)發(fā)展浪潮愈發(fā)風(fēng)起云涌。在日前舉辦的世界5G大會Tech-Talk2022前瞻論壇上，國家信息中心信息化和產(chǎn)業(yè)發(fā)展部主任單志廣表示，全國國家數(shù)據(jù)中心集群建設(shè)中，2022年新開工項(xiàng)目25個，投資超過1900億元。

不過，數(shù)據(jù)中心的繁榮，也帶來了一系列問題，比如需要占用更多的場所、增加能耗等等。在首屆“東數(shù)西算”粵港澳大灣區(qū)（廣東）算力產(chǎn)業(yè)大會上，南方科技大學(xué)清潔能源研究院院長、澳大利亞國家工程院外籍院士劉科在大會現(xiàn)場表示，飛速增加的數(shù)據(jù)中心帶來了飛速增加的能源消耗，截至2020年底，中國數(shù)據(jù)中心耗電量已經(jīng)突破2000億千瓦時，能耗占全國總用電量的2.7%，預(yù)計2022年耗電量將達(dá)到2700億千瓦時。

這一能耗量之所以引人關(guān)注，可以從一組對比數(shù)字看出端倪。截至2020年12月31日24時，三峽電站2020年全年累計生產(chǎn)清潔電能1118億千瓦時。也就是說，2020年數(shù)據(jù)中心一年的耗電量相當(dāng)于當(dāng)年兩個三峽電站的發(fā)電量。

宏觀的能耗數(shù)字凸顯了問題的急迫性，而細(xì)微的能耗環(huán)節(jié)則讓摸清能耗來源以及尋找解決方案更加有的放矢。

眾所周知，數(shù)據(jù)中心的載體是一個個IT設(shè)備，而所有IT設(shè)備的計算能力是由芯片來決定。從目前來看，整個服務(wù)器的主流芯片的功耗是不斷增長的，甚至在最近幾年出現(xiàn)了一個斜率相當(dāng)大的上升。隨著服務(wù)器芯片的功率從100W、200W增長到350W、400W，服務(wù)器的功耗會有一個翻倍的增長，這就決定單機(jī)柜功率密度從最早的4KW、6KW增長到15KW到20KW。

不久前，在2022英特爾中國數(shù)據(jù)中心合作伙伴技術(shù)峰會上，英特爾數(shù)據(jù)中心平臺技術(shù)與架構(gòu)部中國區(qū)總經(jīng)理王飛透露，2025年英特爾預(yù)計有50億顆CPU核心投入運(yùn)營。這就意味著，一方面算力的發(fā)展在支撐著數(shù)據(jù)中心、數(shù)據(jù)經(jīng)濟(jì)和全球經(jīng)濟(jì)的發(fā)展；但另一方面，這也會給全球經(jīng)濟(jì)的可持續(xù)發(fā)展，以及數(shù)據(jù)中心的節(jié)能減碳帶來更多挑戰(zhàn)。他介紹說，2030年數(shù)字中心將消耗全球3%-6%的電能。

顯然，在這樣的趨勢下，傳統(tǒng)的風(fēng)冷方式已經(jīng)無法滿足數(shù)據(jù)中心的散熱和制冷需求。“目前，風(fēng)冷技術(shù)仍然被大規(guī)模使用。隨著我們對風(fēng)冷技術(shù)的不斷增強(qiáng)，比如說增加它的體積、面積、熱管技術(shù)和各種先進(jìn)技術(shù)，以及在數(shù)據(jù)中心級跟機(jī)架級和節(jié)點(diǎn)上做各種優(yōu)化，數(shù)據(jù)中心的PUE也可以降到1.2左右。 但之后我們也發(fā)現(xiàn)，即使有這么多的優(yōu)化，仍然有高達(dá)20%的能耗浪費(fèi)在數(shù)據(jù)中心的散熱和維護(hù)上面，另外還要加上系統(tǒng)風(fēng)扇的能耗。這對于減碳目標(biāo)來說，仍然不夠理想。”王飛說道。

PUE監(jiān)管更加嚴(yán)格

一邊是數(shù)據(jù)中心革新能效的自我驅(qū)動，另一邊，隨著雙碳目標(biāo)的確定，從中央到地方，均將限制高PUE寫入政策，對數(shù)據(jù)中心的監(jiān)管更加嚴(yán)格。

什么是PUE？PUE是數(shù)據(jù)中心總能耗與IT設(shè)備能耗的比值，基準(zhǔn)是2，數(shù)值越接近1代表其用能效率越高。一般來說，對數(shù)據(jù)中心的的評價指標(biāo)主要有三個，分別是PUE（電能利用效率）、可再生能源結(jié)構(gòu)比例以及碳排放量。其中，PUE是主要的政策抓手。

6月，工信部等六部門聯(lián)合印發(fā)《工業(yè)能效提升行動計劃》，該計劃中指出：到2025年，新建大型、超大型數(shù)據(jù)中心電能利用效率優(yōu)于1.3。

過去數(shù)據(jù)中心作為地方政府的經(jīng)濟(jì)抓手，廣受歡迎。近幾年，各大一線城市已經(jīng)紛紛對數(shù)據(jù)中心的節(jié)能指標(biāo)做出了嚴(yán)格的要求。

北京在《北京市新增產(chǎn)業(yè)的禁止和限制目錄(2018年版)》中明確規(guī)定，全市禁止新建和擴(kuò)建PUE大于1.4的數(shù)據(jù)中心。上海在《上海市推進(jìn)新一代信息基礎(chǔ)設(shè)施建設(shè)助力提升城市能級和核心競爭力三年行動計劃(2018-2020年)》中指出，新建數(shù)據(jù)中心PUE要限制在1.3以下。

相比之下，深圳則最為嚴(yán)格。在《深圳市發(fā)展和改革委員會關(guān)于數(shù)據(jù)中心節(jié)能審查有關(guān)事項(xiàng)的通知》中強(qiáng)調(diào)，只有PUE低于1.25的數(shù)據(jù)中心才可以享受新增能源消費(fèi)量40%以上的支持。

從地方政府態(tài)度不難看出，GDP產(chǎn)值固然重要，但更重要的還是單位能耗的GDP產(chǎn)值要上升。對于身處其中的企業(yè)來說，既然傳統(tǒng)風(fēng)冷逐漸無法滿足數(shù)據(jù)中心散熱需求，那就必須找到一種合適的技術(shù)，完成經(jīng)濟(jì)效益和發(fā)展效益的平衡。

浸沒式液冷，突破能耗高墻

早在2015年，正在做云計算以及推廣的阿里云意識到算力的迅速增長對未來的挑戰(zhàn)。這個挑戰(zhàn)不光是芯片本身的散熱問題，同時也有數(shù)據(jù)中心能耗大幅度增長的問題。

“當(dāng)時我們就認(rèn)為未來一定需要找到一種合適的技術(shù)，做到充分釋放計算的潛能，同時也可以做到可持續(xù)發(fā)展。”阿里云服務(wù)器研發(fā)資深技術(shù)專家鐘楊帆在2022英特爾中國數(shù)據(jù)中心合作伙伴技術(shù)峰會說道。

當(dāng)時，液冷的概念剛剛出現(xiàn)不久。于是，阿里找到英特爾開始共同投入研究液冷技術(shù)。“當(dāng)時也是一個摸索，我們對市面上所有液冷的方向和技術(shù)都做了探索和實(shí)踐，包括冷板的技術(shù)，兩相、單相的技術(shù)，也做了一些樣機(jī)和試驗(yàn)。”鐘楊帆說道。

作為技術(shù)服務(wù)商，英特爾圍繞浸入式液冷所面臨的材料兼容性、電氣信號完整性、芯片散熱特性、服務(wù)器系統(tǒng)散熱特性、服務(wù)器及機(jī)柜結(jié)構(gòu)設(shè)計等課題，從處理器定制和服務(wù)器系統(tǒng)開發(fā)與優(yōu)化著手，突破芯片功耗墻功耗和冷卻兩大影響算力提升的關(guān)鍵問題，使得液冷服務(wù)器在阿里云數(shù)據(jù)中心從實(shí)驗(yàn)逐漸發(fā)展到大規(guī)模部署。且英特爾對液冷技術(shù)的研究不僅于CPU，對FPGA等部件在液冷條件下的兼容性驗(yàn)證也有相關(guān)的研究。

2016年，阿里云首發(fā)了浸沒式液冷系統(tǒng)。2017年后不斷擴(kuò)大規(guī)模，2018年建成首個互聯(lián)網(wǎng)行業(yè)最大規(guī)模浸沒式液冷服務(wù)器集群，開啟了浸沒式液冷的正式商用。2020年，阿里云又投產(chǎn)了首個5A級綠色液冷IDC。

從2015年探索開始，至今7年的時間，阿里云為何會從眾多的實(shí)驗(yàn)路線中選定浸沒式液冷路線？

與傳統(tǒng)的風(fēng)冷服務(wù)器相比，液冷技術(shù)一方面存在能效上的優(yōu)勢。因?yàn)樗懈玫臒岵东@能力，對于浸沒式液冷來說，甚至可以達(dá)到100%的熱捕獲能力。據(jù)鐘楊帆介紹，在液冷技術(shù)的加持之下，阿里云的浸沒式液冷數(shù)據(jù)中心的PUE甚至可以降到1.09左右。而傳統(tǒng)風(fēng)冷的年均PUE則是1.5，相比之下，能耗下降了34.6%。

另外，隨著整個數(shù)據(jù)中心能耗的提高，能源或者熱能的回收再利用也成為一個非常重要的話題。對于數(shù)據(jù)中心來說，在理論上它產(chǎn)生的熱能都可以被回收再利用，如果可以做到比較好的熱能捕獲，就可以回收再利用，甚至銷售由這些熱能轉(zhuǎn)化的能源，而液冷技術(shù)恰恰可以更好地支持熱能的捕獲和回收再利用。

除此之外，由于液冷的熱傳導(dǎo)效率比傳統(tǒng)的風(fēng)冷要高很多，因此能突破傳統(tǒng)風(fēng)冷制冷能力的瓶頸，從而讓單機(jī)柜功力密度提升了很多。鐘楊帆介紹說，傳統(tǒng)風(fēng)冷技術(shù)下，單機(jī)柜一般是10KW左右的散熱能力，但采用全浸沒液冷技術(shù)可以做到100KW以上。

再加上浸沒式液冷數(shù)據(jù)中心在地域上并不“挑剔”，具有更強(qiáng)的普適性，因此布局難度有所降低。在浸沒式液冷技術(shù)下，設(shè)備處于較低溫度運(yùn)行，再加上取消風(fēng)扇后沒有了震動，設(shè)備的可靠性進(jìn)一步提升，噪音進(jìn)一步減少。阿里云通過實(shí)際的運(yùn)行實(shí)驗(yàn)發(fā)現(xiàn)，浸沒液冷技術(shù)能夠讓設(shè)備的故障率下降50%。

研發(fā)“無人區(qū)”，標(biāo)準(zhǔn)、成本如何解？

根據(jù)MordorIntelligence的報告,2020年全球數(shù)據(jù)中心浸沒式液冷市場的整體規(guī)模為2.97億美元,預(yù)計到2026年將達(dá)到7.03億美元,期間復(fù)合年增長率為15.27%?

數(shù)據(jù)中心浸沒式液冷技術(shù)發(fā)展迅速，優(yōu)勢也顯而易見，能突破散熱瓶頸，實(shí)現(xiàn)更優(yōu)能效比，但真正應(yīng)用的企業(yè)并不多，即使是在數(shù)據(jù)中心領(lǐng)域有著非常大技術(shù)投資的互聯(lián)網(wǎng)巨頭，也沒有真正規(guī)模化應(yīng)用這項(xiàng)技術(shù)。這就意味著浸沒式液冷技術(shù)的研發(fā)就像行走在“無人區(qū)”，前面沒有領(lǐng)路人，很多技術(shù)方向都是需要摸索，也就不得不面臨技術(shù)難度、成本偏高、缺乏標(biāo)準(zhǔn)化，還有腐蝕、漏液等問題。

浸沒式液冷技術(shù)的原理是用液體去代替空氣進(jìn)行換熱，它同傳統(tǒng)的風(fēng)冷技術(shù)相比，革命性的地方不只是散熱方式的變化，還會涉及到整個數(shù)據(jù)中心的生態(tài)，服務(wù)器、網(wǎng)絡(luò)設(shè)備、監(jiān)控乃至數(shù)據(jù)中心整體設(shè)計都將被改變和重新定義。“比如不導(dǎo)電的液體有很多種，哪種液體能夠滿足長期演進(jìn)和長期使用？RD設(shè)備放在液體中是否能夠長期穩(wěn)定工作？甚至如何運(yùn)維等等。”鐘楊帆說道。

為此，阿里云聯(lián)合了全球數(shù)十家合作伙伴，從芯片到服務(wù)器整機(jī)到機(jī)柜再到數(shù)據(jù)中心等多個供應(yīng)商。比如芯片的重要合作伙伴是英特爾，其第三代英特尓®至強(qiáng)®可擴(kuò)展處理器、以及高性能可編程芯片F(xiàn)PGA等產(chǎn)品都需要在浸沒液冷系統(tǒng)中高效并可靠地運(yùn)行。通過聯(lián)合供應(yīng)商聯(lián)合研究開發(fā)驗(yàn)證，一點(diǎn)點(diǎn)地迭代部署來發(fā)現(xiàn)問題，解決問題，從而實(shí)現(xiàn)規(guī)?；渴?。

處于行業(yè)初期，供應(yīng)鏈、生產(chǎn)鏈并不健全導(dǎo)致標(biāo)準(zhǔn)也缺失，比如業(yè)界對液冷材料兼容性、液冷產(chǎn)品材料選型、浸沒液冷機(jī)柜和服務(wù)器結(jié)構(gòu)、光模塊等均沒有規(guī)范標(biāo)準(zhǔn)。“如果沒有標(biāo)準(zhǔn)，特別是行業(yè)標(biāo)準(zhǔn)，就沒有規(guī)模經(jīng)濟(jì)，就很難降低成本，也就很難做到復(fù)用去支持可循環(huán)經(jīng)濟(jì)的產(chǎn)業(yè)鏈的發(fā)展。”王飛說道。

為了推動行業(yè)標(biāo)準(zhǔn)發(fā)展，阿里云先是在去年與中國信通院云計算與大數(shù)據(jù)研究所、OPPO共同發(fā)起“浸沒液冷智算產(chǎn)業(yè)發(fā)展論壇”，并在今年5月舉辦的第一屆浸沒液冷智算產(chǎn)業(yè)發(fā)展論壇上，發(fā)布了新的浸沒式液冷技術(shù)的三大技術(shù)標(biāo)準(zhǔn)和兩項(xiàng)白皮書。

英特爾則是發(fā)起成立了綠色數(shù)據(jù)中心技術(shù)創(chuàng)新論壇，集合20家ICT產(chǎn)業(yè)上下游廠商，橫跨多個領(lǐng)域，覆蓋整個數(shù)據(jù)中心產(chǎn)業(yè)鏈。該論壇的成立，旨在通過技術(shù)創(chuàng)新和產(chǎn)業(yè)合作，加速數(shù)據(jù)中心運(yùn)營模式的綠色轉(zhuǎn)型，推動數(shù)據(jù)中心節(jié)能減排、可持續(xù)發(fā)展，支撐數(shù)字基礎(chǔ)設(shè)施建設(shè)、碳中和計算，實(shí)現(xiàn)碳達(dá)峰、碳中和的“雙碳”目標(biāo)。

另外，對新技術(shù)的引入、研發(fā)等存在成本。浸沒式液冷系統(tǒng)的部署成本不僅包含液冷設(shè)備罐體和冷卻液的價格以及后續(xù)的維護(hù)成本,還包括泵?換熱器?過濾器?傳感器等一系列用來滿足液冷系統(tǒng)設(shè)計實(shí)踐的其它設(shè)施的改造和維護(hù)成本?尤其是對于那些已按照風(fēng)冷系統(tǒng)建設(shè)完成的數(shù)據(jù)中心來說,改造成本往往是巨大的?據(jù)了解，當(dāng)前由于浸沒式比起傳統(tǒng)方式初期投入構(gòu)建成本高，大約都有幾倍的價差。

為了解決成本高昂的問題，據(jù)TomsHardware報道，英特爾持續(xù)研發(fā)浸沒式液冷散熱解決方案，讓數(shù)據(jù)中心更多地采用浸沒式液冷散熱，同時不需要耗費(fèi)大量資金設(shè)計定制解決方案，這將大幅度降低成本及碳排放。

任何技術(shù)在發(fā)展初期，具體發(fā)展道路都是曲折的、迂回的，伴隨著數(shù)據(jù)中心節(jié)能減碳的需要與高密度數(shù)據(jù)中心的發(fā)展，政策驅(qū)動、巨頭出手，數(shù)據(jù)中心浸沒式液冷正進(jìn)入大規(guī)模商用加速道。（本文首發(fā)鈦媒體app 作者｜韓敬嫻）

免責(zé)聲明：市場有風(fēng)險，選擇需謹(jǐn)慎！此文僅供參考，不作買賣依據(jù)。

關(guān)鍵詞：