中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

數(shù)據(jù)中心能源

白皮書803號(hào)

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施

可靠性關(guān)鍵要素

白皮書

華為數(shù)字能源技術(shù)有限公司

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

聯(lián)合主編單位（按單位名稱拼音排序）

華為數(shù)字能源技術(shù)有限公司、賽迪顧問(wèn)股份有限公司、中國(guó)通信工業(yè)協(xié)會(huì)數(shù)據(jù)中心委員會(huì)

參編單位（按單位名稱拼音排序）

北京華通安和科技有限公司、北京大學(xué)、北京大學(xué)腫瘤醫(yī)院、北京科鼎隆科技股份有限公司、北京理工大學(xué)、

北京深知迪智技術(shù)服務(wù)有限公司、北京中科仙絡(luò)智算科技股份有限公司、東北林業(yè)大學(xué)、東南大學(xué)附屬中大醫(yī)

院、富滇銀行股份有限公司、工業(yè)和信息化部上?；ヂ?lián)網(wǎng)交換中心、廣東電網(wǎng)有限責(zé)任公司廣州供電局、廣東

南粵銀行股份有限公司、廣州寬帶主干網(wǎng)絡(luò)有限公司、暨南大學(xué)、暨南大學(xué)附屬第一醫(yī)院（廣州華僑醫(yī)院）、

立訊精密工業(yè)股份有限公司、南方醫(yī)科大學(xué)南方醫(yī)院、南京農(nóng)業(yè)大學(xué)、內(nèi)蒙古電力（集團(tuán)）有限責(zé)任公司、軟

通智慧科技有限公司、山東省建筑設(shè)計(jì)研究院有限公司、上?？萍即髮W(xué)、上?，F(xiàn)代建筑設(shè)計(jì)（集團(tuán)）有限公司、

深圳國(guó)家高技術(shù)產(chǎn)業(yè)創(chuàng)新中心、深圳市機(jī)場(chǎng)（集團(tuán)）有限公司、深圳市智慧城市大數(shù)據(jù)中心有限公司、首都醫(yī)

科大學(xué)宣武醫(yī)院、亞太建設(shè)科技信息研究院有限公司、浙江大學(xué)建筑設(shè)計(jì)研究院有限公司、浙江省建筑設(shè)計(jì)研

究院、中電云計(jì)算技術(shù)有限公司、中國(guó)交通信息科技集團(tuán)有限公司、中國(guó)南方電網(wǎng)深圳供電局有限公司、中國(guó)

人民解放軍總醫(yī)院、中國(guó)醫(yī)學(xué)科學(xué)院北京協(xié)和醫(yī)院、中國(guó)中元國(guó)際工程有限公司、中科院建筑設(shè)計(jì)研究院有

限公司、中山大學(xué)

主編人員（按姓名拼音排序）

安真、陳青、鄧威、杜坤、費(fèi)珍福、黃超、胡春池、賴兆澤、李寶宇、李會(huì)永、劉天原、齊平川、沈鑒、孫曉

峰、萬(wàn)欣、王建軍、陽(yáng)必飛、堯權(quán)、尤興旺、張帆、張廣河、趙俊鵬

參編人員（按姓名拼音排序）

保鵬飛、蔡瑩、蔡玉鑫、蔡哲、陳國(guó)良、陳志凱、戴哲、董衛(wèi)衛(wèi)、方琦、付振新、和麗明、賀菲、衡反修、侯

杰、黃思元、黃友根、焦蘊(yùn)、李東旭、李志強(qiáng)、梁志剛、劉譯澤、馬銀萍、邱之良、任皓、蘇博、王芳、王

海東、王曼聰、王權(quán)、王偉、王曉春、王曉堅(jiān)、王永真、吳剛、吳禮聰、熊文文、嚴(yán)靜東、楊剛、楊國(guó)忠、楊

宏輝、楊凌、查貴庭、張昉、張建偉、張偉峰、趙瓊、鐘國(guó)新、鐘少梅、周鋒、周翔、朱玉水

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

部分主編人員（按姓名拼音排序）

安真陳青鄧威杜坤費(fèi)珍福

胡春池賈珊珊賴兆澤李寶宇李會(huì)永

劉天原齊平川沈鑒孫曉峰萬(wàn)欣

王建軍禤祺陽(yáng)必飛堯權(quán)尤興旺

張帆張廣河趙俊鵬

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

部分參編人員（按姓氏拼音排序）

蔡玉鑫陳國(guó)良陳志凱戴哲董衛(wèi)衛(wèi)

方琦賀菲侯杰黃思元李志強(qiáng)

邱之良王芳王海東王偉王曉春

王曉堅(jiān)王永真吳禮聰嚴(yán)靜東張昉

張偉峰趙瓊鐘少梅周鋒

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

目錄

1.前言------------------------------------------------------01

2.中小數(shù)據(jù)中心現(xiàn)狀及挑戰(zhàn)--------------------------------------------02

2.1.中小數(shù)據(jù)中心現(xiàn)狀--------------------------------------------02

2.2.中小數(shù)據(jù)中心面臨的問(wèn)題-----------------------------------------02

2.3.可靠性依然是中小數(shù)據(jù)中心目前面臨的主要問(wèn)題-----------------------------03

3.中小數(shù)據(jù)中心建設(shè)發(fā)展趨勢(shì)-------------------------------------------04

3.1.架構(gòu)可靠------------------------------------------------04

3.1.1.供配電系統(tǒng)----------------------------------------04

3.1.2.空調(diào)系統(tǒng)-----------------------------------------05

3.1.3.智能管理系統(tǒng)---------------------------------------05

3.2.產(chǎn)品可靠------------------------------------------------06

3.2.1.設(shè)計(jì)一致性----------------------------------------06

3.2.2.部件可靠-----------------------------------------07

3.2.3.供電和制冷融合設(shè)計(jì)-----------------------------------10

3.2.4.監(jiān)控產(chǎn)品可靠--------------------------------------10

3.3.運(yùn)行可靠------------------------------------------------11

3.3.1.軟件運(yùn)行可靠--------------------------------------11

3.3.2.行業(yè)認(rèn)證-----------------------------------------12

3.4.體系可靠------------------------------------------------13

4.總結(jié)------------------------------------------------------14

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

1.前言

《中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書》分析了中小數(shù)據(jù)中心所面臨的現(xiàn)狀及挑戰(zhàn)，指出可靠性依然是中小數(shù)據(jù)

中心面臨的主要問(wèn)題，尤其是供配電、暖通及弱電智能化三大系統(tǒng)是影響中小數(shù)據(jù)中心可靠性的關(guān)鍵環(huán)節(jié)。結(jié)合上述問(wèn)題，

白皮書從架構(gòu)可靠、產(chǎn)品可靠、運(yùn)行可靠、體系可靠四個(gè)維度詳細(xì)闡述了中小數(shù)據(jù)中心可靠性關(guān)鍵要素，并給出應(yīng)對(duì)措施

和建議，對(duì)提升中小數(shù)據(jù)中心的可靠性有很強(qiáng)的指導(dǎo)意義。

該項(xiàng)目得到了參編單位的大力支持，在此對(duì)所有參編的單位和專家表示感謝！同時(shí)，在白皮書編制期間，編制組廣泛征求

各方面的意見(jiàn)，得到了社會(huì)各界的廣泛支持，在此也對(duì)綠色網(wǎng)格、深圳數(shù)促會(huì)、……等行業(yè)協(xié)會(huì)專家的參與與支持表示感

謝！

圖片更新

01

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

2.中小數(shù)據(jù)中心現(xiàn)狀及挑戰(zhàn)

2.1.中小數(shù)據(jù)中心現(xiàn)狀

隨著數(shù)字經(jīng)濟(jì)時(shí)代的發(fā)展，數(shù)據(jù)中心的形式也將更加多樣化、個(gè)性化，傳統(tǒng)的模塊化產(chǎn)品和建設(shè)周期已經(jīng)不足以滿足客戶

的需求。在數(shù)字經(jīng)濟(jì)的引導(dǎo)和推動(dòng)下，適宜融合新技術(shù)、新理念的模塊化數(shù)據(jù)中心將是數(shù)據(jù)中心的一個(gè)重要發(fā)展方向。伴

隨預(yù)制模塊化、模塊化產(chǎn)品的品類增加和品質(zhì)提高，模塊的制作、安裝工藝及智能化也將會(huì)更為成熟，便于響應(yīng)市場(chǎng)靈活

多變的需求，大幅縮短數(shù)據(jù)中心的建設(shè)周期，并提高數(shù)據(jù)中心運(yùn)行的可靠性。

以中小數(shù)據(jù)中心主流方案的微模塊來(lái)看，根據(jù)賽迪顧問(wèn)《2021-2022年中國(guó)微模塊數(shù)據(jù)中心市場(chǎng)研究年度報(bào)告》統(tǒng)計(jì)：

2021年中國(guó)微模塊數(shù)據(jù)中心市場(chǎng)規(guī)模達(dá)到77.7億元，同比增速達(dá)到11.5%，其市場(chǎng)空間占比與發(fā)展?jié)摿θ匀痪薮蟆５?/p>

時(shí)中小數(shù)據(jù)中心部署環(huán)境相對(duì)開(kāi)放、復(fù)雜、惡劣。需要在產(chǎn)品選型、預(yù)制化、部署實(shí)施周期及后續(xù)運(yùn)維等方面進(jìn)行多樣化

的配置，從而滿足不同行業(yè)、不同場(chǎng)景的業(yè)務(wù)需求。

2.2.中小數(shù)據(jù)中心面臨的問(wèn)題

建設(shè)流程不標(biāo)準(zhǔn)：中小數(shù)據(jù)中心由于本身體量較小，存在建設(shè)流程不標(biāo)準(zhǔn)的問(wèn)題，而數(shù)據(jù)中心涉及多個(gè)專業(yè)領(lǐng)域，在建

設(shè)過(guò)程中專業(yè)的咨詢、設(shè)計(jì)團(tuán)隊(duì)的缺失極易導(dǎo)致數(shù)據(jù)中心落地方案不合理、不嚴(yán)謹(jǐn)，嚴(yán)重影響數(shù)據(jù)中心的可用性及可靠性。

選址受限：中小數(shù)據(jù)中心項(xiàng)目多設(shè)立在非數(shù)據(jù)中心專用建筑內(nèi)，除數(shù)據(jù)中心的主機(jī)房、輔助區(qū)、支持區(qū)、行政管理區(qū)外，

還可能設(shè)有辦公、商業(yè)等有非數(shù)據(jù)中心專業(yè)人員長(zhǎng)期駐留的功能分區(qū)，大部分是用現(xiàn)有辦公室、倉(cāng)庫(kù)等環(huán)境改造，往往存

在層高不足、地面載荷不夠、空間受限等問(wèn)題，傳統(tǒng)的數(shù)據(jù)中心建設(shè)模式難以匹配復(fù)雜多樣的環(huán)境。

系統(tǒng)部署調(diào)試復(fù)雜：數(shù)據(jù)中心系統(tǒng)復(fù)雜，傳統(tǒng)模式采用分段建設(shè)，現(xiàn)場(chǎng)多廠商設(shè)備集成的方式，界面復(fù)雜，工程管理量

大。設(shè)計(jì)、采購(gòu)與施工脫節(jié)，施工階段易產(chǎn)生設(shè)計(jì)變更，造成潛在的成本和工期增加，端到端性能無(wú)法保障，影響總體交

付質(zhì)量，并造成設(shè)計(jì)PUE與實(shí)際PUE偏差大。同時(shí)，傳統(tǒng)數(shù)據(jù)中心一次性規(guī)劃、一次性投資、初始投資大，一次性建成后

很難靈活擴(kuò)容，無(wú)法匹配業(yè)務(wù)快速上線及按需部署的使用需求。

缺乏專業(yè)運(yùn)維：傳統(tǒng)的數(shù)據(jù)中心運(yùn)維管理還是以人工巡檢輔以基本的動(dòng)環(huán)監(jiān)控系統(tǒng)為主，對(duì)運(yùn)維人員技術(shù)要求高，運(yùn)維

效率低，專業(yè)運(yùn)維人員需求量大。對(duì)于中小型數(shù)據(jù)中心由于規(guī)模較小，專業(yè)運(yùn)維人員缺乏尤為明顯，存在無(wú)人監(jiān)管、故障

發(fā)現(xiàn)難、響應(yīng)速度慢、故障處理不及時(shí)等問(wèn)題，嚴(yán)重影響數(shù)據(jù)中心的可靠運(yùn)行。

設(shè)計(jì)架構(gòu)無(wú)法滿足功率演進(jìn)：隨著IT算力持續(xù)演進(jìn),CPU和服務(wù)器功率持續(xù)提升，數(shù)據(jù)中心逐漸向高密化發(fā)展。單柜功

率密度已由2-3kW演進(jìn)到當(dāng)前的5-8kW，未來(lái)AI普及后預(yù)計(jì)15~20kW也將廣泛應(yīng)用。傳統(tǒng)中小數(shù)據(jù)中心功率密度不高，因

此以往沒(méi)有考慮連續(xù)制冷問(wèn)題。在市電中斷后，負(fù)載設(shè)備在電池供電下，機(jī)柜功率密度提升帶來(lái)大量的發(fā)熱將造成機(jī)房溫

度快速上升，熱失控風(fēng)險(xiǎn)突出，最終導(dǎo)致機(jī)房高溫宕機(jī)。今年來(lái)制冷系統(tǒng)失效導(dǎo)致的機(jī)房高溫宕機(jī)事故頻發(fā)，也說(shuō)明中小

數(shù)據(jù)中心的設(shè)計(jì)架構(gòu)已無(wú)法滿足當(dāng)前用戶的可靠性需求。

02

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

2.3.可靠性依然是中小數(shù)據(jù)中心目前面臨的主要問(wèn)題

隨著各行各業(yè)數(shù)字化轉(zhuǎn)型逐步深入，將誕生越來(lái)越多對(duì)數(shù)據(jù)中心和信息技術(shù)高度依賴的行業(yè)，數(shù)據(jù)中心服務(wù)的中斷不再是

數(shù)據(jù)中心自己的事，將可能成為一個(gè)系統(tǒng)性的社會(huì)風(fēng)險(xiǎn)，需要引起高度重視。尤其是服務(wù)于千行百業(yè)的中小數(shù)據(jù)中心，它

們通常不會(huì)像大型IDC一樣去考慮兩地三中心、異地雙活等復(fù)雜的業(yè)務(wù)冗余架構(gòu)，因此提升數(shù)據(jù)中心的可用性，實(shí)現(xiàn)可靠

的連續(xù)運(yùn)行依然是中小數(shù)據(jù)中心目前面臨的主要挑戰(zhàn)。

數(shù)據(jù)中心基礎(chǔ)設(shè)施主要由供配電系統(tǒng)、暖通系統(tǒng)、弱電智能化系統(tǒng)、工藝系統(tǒng)、裝飾系統(tǒng)、消防系統(tǒng)等組成。

供配電系統(tǒng)：包括高壓配電系統(tǒng)、低壓配電系統(tǒng)、柴油發(fā)電機(jī)系統(tǒng)、UPS/高壓直流、蓄電池系統(tǒng)、接地和服務(wù)器電源等

子系統(tǒng)，為機(jī)房?jī)?nèi)所有設(shè)備提供穩(wěn)定、可靠的供電。供配電系統(tǒng)整體架構(gòu)、關(guān)鍵設(shè)備可靠性及后期運(yùn)維難等對(duì)數(shù)據(jù)中心可

靠性運(yùn)行有重大影響。

暖通系統(tǒng)：包含精密空調(diào)系統(tǒng)、舒適性空調(diào)系統(tǒng)、通風(fēng)系統(tǒng)等子系統(tǒng)，為機(jī)房提供設(shè)備運(yùn)行所需的環(huán)境，保證設(shè)備的正常

運(yùn)行以及延長(zhǎng)設(shè)備的使用壽命。其中冷源形式、制冷形式、系統(tǒng)架構(gòu)及后期運(yùn)維難度等對(duì)數(shù)據(jù)中心可靠性運(yùn)行有重大影響。

弱電智能化系統(tǒng)：包含DCIM綜合管理平臺(tái)、動(dòng)環(huán)監(jiān)控系統(tǒng)、門禁系統(tǒng)、視頻監(jiān)控系統(tǒng)、防盜系統(tǒng)、綜合布線系統(tǒng)等子

系統(tǒng)，有效提升數(shù)據(jù)中心的業(yè)務(wù)效率及可靠性。隨著智能化程度不斷提高，數(shù)據(jù)中心智能化系統(tǒng)的網(wǎng)絡(luò)安全、維護(hù)便利性、

故障識(shí)別及響應(yīng)能力等對(duì)數(shù)據(jù)中心可靠性的影響逐步提升。

工藝系統(tǒng)：包含設(shè)備機(jī)柜、密閉通道組件等。隨著設(shè)備機(jī)柜功率密度不斷提升，密閉通道氣密性、氣流組織等對(duì)數(shù)據(jù)中

心可靠性運(yùn)行有影響。

裝飾系統(tǒng)：包含數(shù)據(jù)中心隔斷、墻面裝飾、頂面裝飾、地面裝飾、門窗、照明等子系統(tǒng)。其中頂棚、壁板（包括夾芯材

料)、隔斷、門窗、地面及其他裝修材料的防火性能對(duì)數(shù)據(jù)中心可靠性運(yùn)行有影響。

消防系統(tǒng)：包含火災(zāi)自動(dòng)報(bào)警系統(tǒng)、滅火系統(tǒng)、避難誘導(dǎo)系統(tǒng)等子系統(tǒng)。其中系統(tǒng)合理性、滅火介質(zhì)選擇等對(duì)數(shù)據(jù)中心

可靠性運(yùn)行有較大影響。

表1各系統(tǒng)可靠性影響

重大

大

供配電系統(tǒng)暖通系統(tǒng)弱電智能化系統(tǒng)工藝系統(tǒng)裝飾系統(tǒng)消防系統(tǒng)其他

綜上所述，按照各系統(tǒng)承擔(dān)的不同功能來(lái)看，數(shù)據(jù)中心供配電系統(tǒng)、暖通系統(tǒng)影響最大，弱電智能化系統(tǒng)對(duì)數(shù)據(jù)中心可靠

性運(yùn)行影響較大。制約中小數(shù)據(jù)中型可靠運(yùn)行的主要問(wèn)題還是聚焦于供配電、暖通及弱電智能化三大系統(tǒng)，本文基于上述

三大核心系統(tǒng)重點(diǎn)分析影響中小數(shù)據(jù)中心可靠性運(yùn)行的趨勢(shì)及相關(guān)對(duì)策。

03

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

3.中小數(shù)據(jù)中心建設(shè)發(fā)展趨勢(shì)

數(shù)據(jù)中心選址時(shí)，應(yīng)綜合考慮多種因素，應(yīng)有充足的電力供給，快速通暢的通訊；環(huán)境應(yīng)清潔、溫度應(yīng)有利于節(jié)約能源；

應(yīng)遠(yuǎn)離理易燃、易爆、腐蝕、粉塵等危險(xiǎn)場(chǎng)所；應(yīng)遠(yuǎn)離水災(zāi)、地震等自然災(zāi)害隱患區(qū)域；應(yīng)遠(yuǎn)離強(qiáng)振源、強(qiáng)噪聲源及強(qiáng)電

磁場(chǎng)干擾區(qū)域。設(shè)置在建筑物內(nèi)局部區(qū)域的數(shù)據(jù)中心，在確定主機(jī)房的位置時(shí)，應(yīng)對(duì)安全、設(shè)備運(yùn)輸、管線敷設(shè)、雷電感

應(yīng)、結(jié)構(gòu)荷載、水患及空調(diào)系統(tǒng)室外設(shè)備的安裝位置等問(wèn)題進(jìn)行綜合分析和經(jīng)濟(jì)比較。

如果數(shù)據(jù)中心選址不滿足上述要求，在進(jìn)行方案設(shè)計(jì)時(shí)應(yīng)有針對(duì)性的采取有效措施避免隱患。

3.1.架構(gòu)可靠

數(shù)據(jù)中心系統(tǒng)復(fù)雜，傳統(tǒng)模式采用分段建設(shè)，現(xiàn)場(chǎng)多廠商設(shè)備集成的方式，責(zé)任界面不清晰，交付質(zhì)量不可控。新一代智

能微模塊數(shù)據(jù)中心將供配電系統(tǒng)、制冷系統(tǒng)、機(jī)柜通道、布線、監(jiān)控等集成在一個(gè)模塊內(nèi)，一體化集成、一站式交付，將

工程產(chǎn)品化，產(chǎn)品標(biāo)準(zhǔn)化，責(zé)任界面清晰，安全可靠。多系統(tǒng)協(xié)同，端到端方匹配節(jié)能方案，全鏈路高效設(shè)備、實(shí)現(xiàn)低

PUE，所見(jiàn)即所得。

在建設(shè)模式之外，不同中小數(shù)據(jù)中心的應(yīng)用場(chǎng)景不同可靠性要求有所區(qū)別，將中小數(shù)據(jù)中心關(guān)鍵基礎(chǔ)設(shè)施配置分為容錯(cuò)、

冗余、基本三大類，對(duì)應(yīng)要求如下表所示。

表2數(shù)據(jù)中心基礎(chǔ)設(shè)施配置分類

功能UPS空調(diào)連續(xù)供冷

容錯(cuò)2NN+X（X=1～N）應(yīng)

冗余N+1N+1宜

基本NN可

數(shù)據(jù)中心可靠性等級(jí)的設(shè)定，往往針對(duì)中大型數(shù)據(jù)中心進(jìn)行分類，而中小型數(shù)據(jù)中心受限于市電路數(shù)，油機(jī)的設(shè)置以及制

冷方式的區(qū)別，需要從整體運(yùn)行可靠性上考慮。加入連續(xù)制冷的需求，以考慮中小型風(fēng)冷數(shù)據(jù)中心，在大部分無(wú)油機(jī)備電

的情況下，斷電導(dǎo)致的機(jī)房過(guò)溫風(fēng)險(xiǎn)。針對(duì)具備冗余條件的數(shù)據(jù)中心時(shí)，在架構(gòu)上應(yīng)考慮必要的連續(xù)制冷措施。

3.1.1.供配電系統(tǒng)

供配電系統(tǒng)是整個(gè)模塊化機(jī)房的基礎(chǔ)系統(tǒng)工程，要求高安全性、高可靠性、易于維護(hù)和在線擴(kuò)容。模塊化機(jī)房?jī)?nèi)的配電系

統(tǒng)應(yīng)由UPS電源供電，配電線纜、配電柜開(kāi)關(guān)及相應(yīng)的電路，其設(shè)計(jì)容量應(yīng)滿足用電峰值。強(qiáng)弱電分離，模塊內(nèi)的配電和

弱電線纜應(yīng)分別敷設(shè)在各自線槽，且保持一定的安全距離，IT設(shè)備配電宜采用配電列頭柜或?qū)Ｓ门潆娔妇€。

配電系統(tǒng)內(nèi)低壓配電系統(tǒng)、UPS系統(tǒng)、備電系統(tǒng)及末端供電設(shè)備宜采用模塊化架構(gòu)，便于在線維護(hù)、后期平滑擴(kuò)容及減少

運(yùn)維人員專業(yè)性要求。UPS系統(tǒng)后備供電時(shí)間不小于15min。

容錯(cuò)架構(gòu)的模塊化機(jī)房中，供電輸入方式應(yīng)采用雙重電源供電。冗余架構(gòu)的模塊化機(jī)房中供電輸入方式宜采用雙重電源供

電。當(dāng)供電條件不滿足時(shí)可延長(zhǎng)UPS后備時(shí)間以滿足運(yùn)維要求，可根據(jù)使用需求配置柴油發(fā)電機(jī)組，且發(fā)電機(jī)組應(yīng)在UPS

系統(tǒng)供電時(shí)間內(nèi)正常啟動(dòng)。

04

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

3.1.2.空調(diào)系統(tǒng)

模塊化機(jī)房的運(yùn)行環(huán)境應(yīng)滿足模塊內(nèi)所有設(shè)備的運(yùn)行要求，設(shè)備不確定時(shí)，冷通道或機(jī)柜進(jìn)風(fēng)區(qū)域溫度滿足國(guó)標(biāo)相關(guān)要求。

模塊化機(jī)房空調(diào)系統(tǒng)容量應(yīng)根據(jù)IT設(shè)備負(fù)載發(fā)熱量、配套設(shè)備發(fā)熱量、環(huán)境發(fā)熱量、機(jī)房運(yùn)行工況及機(jī)房所在地氣候條件

等計(jì)算確定，并應(yīng)預(yù)留響應(yīng)余量。

空調(diào)系統(tǒng)應(yīng)選擇風(fēng)冷直膨空調(diào)或氟泵空調(diào)等分布式制冷方式，有效減少制冷設(shè)備間的關(guān)聯(lián)性，降低故障影響面，便于故障

定位及排查，提高數(shù)據(jù)中心可靠性。

空調(diào)設(shè)備的選型應(yīng)考慮實(shí)際應(yīng)用場(chǎng)景的地理與氣候因素，避免在極端海拔或極端室外高低溫氣候下由于設(shè)備降額導(dǎo)致的機(jī)

房總冷量下降。

空調(diào)及IT機(jī)柜應(yīng)合理布置，確保氣流組織暢通。并應(yīng)在機(jī)房?jī)?nèi)設(shè)置防止冷凝水管和加濕水管泄漏擴(kuò)散的措施和漏水檢測(cè)措施。

需額外說(shuō)明的是，隨著數(shù)字化業(yè)務(wù)發(fā)展與AI等新興應(yīng)用的普及，中小數(shù)據(jù)中心單柜的IT負(fù)載功率逐年提升，高功率、高密

度機(jī)柜在制冷中斷情況下可穩(wěn)定運(yùn)行的時(shí)間也在縮減。實(shí)測(cè)數(shù)據(jù)顯示，傳統(tǒng)的3KW機(jī)柜在失去制冷后，服務(wù)器熱保護(hù)關(guān)機(jī)

時(shí)間大概有480s，4KW機(jī)柜則縮短到300s。當(dāng)機(jī)柜密度達(dá)到8KW，熱保護(hù)關(guān)機(jī)時(shí)間則縮減到不到240s，只有3KW機(jī)柜的

一半。由于斷電導(dǎo)致的機(jī)房高溫宕機(jī)已經(jīng)成為中小數(shù)據(jù)中心的運(yùn)行可靠性短板。

11kW/機(jī)柜（5000W/㎡）

50

）

457kW/機(jī)柜（3400W/㎡）

℃

40

353.5kW/機(jī)柜（1700W/㎡）

30

25

20

柜機(jī)平均進(jìn)風(fēng)溫（

15

0510152020

冷卻失效時(shí)間/min

圖1不同功率密度時(shí)熱保護(hù)關(guān)機(jī)時(shí)間

受限于市電中斷情況下的溫升時(shí)間，目前大多數(shù)中小型數(shù)據(jù)中心在市電中斷后的后備時(shí)間，往往只有十?dāng)?shù)分鐘，出現(xiàn)斷電

后的系統(tǒng)實(shí)際運(yùn)行時(shí)間遠(yuǎn)遠(yuǎn)達(dá)不到電池的備電時(shí)間。

綜上所述，當(dāng)模塊化機(jī)房需要達(dá)到容錯(cuò)和冗余功能時(shí)，空調(diào)室內(nèi)機(jī)、室外機(jī)均應(yīng)采用不間斷電源供電，空調(diào)壓縮機(jī)應(yīng)為變

頻驅(qū)動(dòng)避免對(duì)前端不間斷電源的啟動(dòng)電流沖擊，不間斷供電時(shí)間與IT設(shè)備UPS后備供電時(shí)間保持一致，避免市電斷電后的

數(shù)據(jù)中心溫度異常，空調(diào)末端配置應(yīng)滿足N+X（X=1～N）配置。

3.1.3.智能管理系統(tǒng)

智能管理系統(tǒng)是模塊化機(jī)房運(yùn)維人員的信息化工具，系統(tǒng)功能應(yīng)能滿足機(jī)房運(yùn)維人員對(duì)模塊化機(jī)房的監(jiān)控、維護(hù)與管理需

求。模塊化機(jī)房應(yīng)配置智能管理系統(tǒng)，對(duì)模塊內(nèi)環(huán)境和動(dòng)力監(jiān)控系統(tǒng)、安全防范系統(tǒng)、火災(zāi)自動(dòng)報(bào)警與滅火系統(tǒng)、能源管

理等進(jìn)行統(tǒng)一集中化管理，智能管理系統(tǒng)應(yīng)具有標(biāo)準(zhǔn)的北向接口，可上傳數(shù)據(jù)并可接受上級(jí)管理系統(tǒng)發(fā)出的監(jiān)控指令。該

系統(tǒng)通過(guò)智能化、自動(dòng)化的方式，實(shí)現(xiàn)對(duì)模塊化機(jī)房的全面管理，提高機(jī)房的運(yùn)營(yíng)效率和管理水平。

每套模塊化機(jī)房均應(yīng)配置獨(dú)立的具有數(shù)據(jù)處理功能的采集監(jiān)控模塊和中文監(jiān)控顯示屏，且系統(tǒng)通信總線應(yīng)具備容錯(cuò)能力，

單點(diǎn)故障不影響其他設(shè)備；系統(tǒng)供電電源宜采用獨(dú)立UPS系統(tǒng)供電，當(dāng)采用集中不間斷電源系統(tǒng)供電時(shí)，各系統(tǒng)應(yīng)單獨(dú)回

路配電。

模塊化機(jī)房?jī)?nèi)宜配置移動(dòng)智能管理APP系統(tǒng)，實(shí)時(shí)監(jiān)控對(duì)應(yīng)設(shè)備關(guān)鍵數(shù)據(jù)并在移動(dòng)APP端顯示，具備遠(yuǎn)程、移動(dòng)、全天候

的專家級(jí)設(shè)備管理、故障預(yù)警、健康檢查等功能。

為保障數(shù)據(jù)中心基礎(chǔ)設(shè)施的安全可靠，智能管理系統(tǒng)應(yīng)通過(guò)中國(guó)國(guó)家認(rèn)證認(rèn)可監(jiān)督機(jī)構(gòu)的網(wǎng)絡(luò)安全測(cè)試。

05

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

3.2.產(chǎn)品可靠

針對(duì)中小型數(shù)據(jù)中心的產(chǎn)品設(shè)計(jì)，應(yīng)滿足客戶的可靠性需求，從產(chǎn)品側(cè)分類，應(yīng)包含供配電、制冷、監(jiān)控硬件、監(jiān)控軟件

等幾部分。

3.2.1.設(shè)計(jì)一致性

圖2攢機(jī)解決方案圖3微模塊一體化解決方案

中小型數(shù)據(jù)中心由于規(guī)模較小，其建設(shè)和運(yùn)維團(tuán)隊(duì)往往不會(huì)按照子系統(tǒng)細(xì)分，按照微模塊的建設(shè)方式，整體方案的設(shè)計(jì)一

致性至關(guān)重要。相比于多品牌廠家的“攢機(jī)”模式，設(shè)計(jì)一致性可以避免不同品牌設(shè)備的安裝、運(yùn)行兼容性，從而保障數(shù)

據(jù)中心運(yùn)行可靠性，主要分為以下方面：

結(jié)構(gòu)影響：一致性的設(shè)計(jì)可以保障機(jī)房不同設(shè)備匹配度，如設(shè)備之間的縫隙。不同品牌攢機(jī)的設(shè)備由于采用不同設(shè)計(jì)，

設(shè)備的結(jié)構(gòu)不盡相同，在現(xiàn)場(chǎng)安裝時(shí)可能存在較大不確定性，較大的縫隙較大會(huì)影響氣密性，造成冷熱氣流的互通，從而

影響溫度場(chǎng)均勻。

功能影響：“攢機(jī)”模式下，不同品牌設(shè)備協(xié)議不互通或部分互通，對(duì)于設(shè)備的控制、聯(lián)動(dòng)、告警傳遞有較大影響。如

軟件協(xié)議對(duì)接的問(wèn)題，在設(shè)備溫度升高時(shí)，核心控制器會(huì)控制精密空調(diào)增大制冷量，而精密空調(diào)為了保障運(yùn)行穩(wěn)定性，對(duì)

于第三方的監(jiān)控平臺(tái)采取“只監(jiān)不控”的策略，使得上層命令無(wú)法執(zhí)行，或者互相沖突，會(huì)影響整個(gè)機(jī)房的溫度控制。

性能影響：隨著工業(yè)設(shè)備控制軟件技術(shù)的發(fā)展，在微模塊解決方案中，部分廠家已經(jīng)具備“L1+L2”聯(lián)動(dòng)的功能。如傳統(tǒng)

的精密空調(diào)采用負(fù)反饋控制，通過(guò)溫度傳感器檢測(cè)通道溫度，如溫度上升將增加制冷量以維持溫度平穩(wěn)。受限于精密空調(diào)

控制周期，制冷量始終滯后于負(fù)載發(fā)熱量，這種控制方式依然存在溫度波動(dòng)的情況?！癓1+L2”聯(lián)動(dòng)控制是通過(guò)控制器采集

IT設(shè)備的實(shí)時(shí)負(fù)載信息，在負(fù)載變化時(shí)將信息傳遞給精密空調(diào)進(jìn)行實(shí)時(shí)調(diào)節(jié)，這種方式可以做到制冷量與IT負(fù)載大致匹配，

對(duì)數(shù)據(jù)中心溫度進(jìn)行更加精確的控制，更好保障運(yùn)行可靠性。

06

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

3.2.2.部件可靠

中小型數(shù)據(jù)中心由于規(guī)模較小，電力部分往往采用原有機(jī)房大樓的380V市電供電，不具備大型數(shù)據(jù)中心的高壓專線供配電

設(shè)備，因此與大型數(shù)據(jù)中心的供配電架構(gòu)略有不同，在考慮中小型數(shù)據(jù)中心供配電產(chǎn)品設(shè)計(jì)時(shí)，推薦采用集成化的供配電

設(shè)備，通過(guò)高集成度和智能化，提升數(shù)據(jù)中心供電的可靠性。

傳統(tǒng)供配電方案供電架構(gòu)圖如下圖所示，變配電設(shè)備包括變壓器、低壓配電柜、無(wú)功補(bǔ)償柜、UPS輸入、UPS、UPS輸出

柜以及饋線柜。設(shè)備內(nèi)保護(hù)器件串聯(lián)級(jí)數(shù)多、設(shè)備數(shù)量多，為滿足配電設(shè)計(jì)規(guī)范要求平面布局多采用多排布局形式。方案

中所涉及的產(chǎn)品品牌多、設(shè)備與設(shè)備之間主要采用強(qiáng)電橋架敷設(shè)以及線纜的連接方式，交付周期長(zhǎng)、安裝質(zhì)量較難控制。

圖4傳統(tǒng)供配電方案

?中大場(chǎng)景的電力模塊供配電方案

對(duì)于中型的數(shù)據(jù)中心，功率范圍在1MW以內(nèi)，可優(yōu)選電力模塊的供電方案。電力模塊供配電方案供電架構(gòu)圖如圖所示，電

力模塊取代了傳統(tǒng)方案中變壓器、低壓配電柜、無(wú)功補(bǔ)償柜、UPS輸入、UPS、UPS輸出以及饋線柜。設(shè)備與設(shè)備之間采

用銅排的連接方式，可以實(shí)現(xiàn)工廠預(yù)制化，減少現(xiàn)場(chǎng)安裝調(diào)試時(shí)間。電力模塊內(nèi)可以集成溫度AI診斷和一體化監(jiān)控功能，

提升系統(tǒng)運(yùn)維效率。

圖5電力模塊供配電方案

表3電力模塊供配電方案

類別傳統(tǒng)方案電力模塊方案

變壓器，成套低壓柜，補(bǔ)償柜，UPS，饋線柜，預(yù)制

主要設(shè)備變壓器，成套低壓柜，補(bǔ)償柜，UPS，饋線柜，電纜

銅排

造價(jià)設(shè)備數(shù)量多，電纜多，工作量大，整體造價(jià)高設(shè)備數(shù)量較多，無(wú)電纜，工作量少，整體造價(jià)會(huì)降低

整體效率線路鏈路長(zhǎng)，設(shè)備多，現(xiàn)場(chǎng)施工量大，效率差別大線路鏈路短，工廠預(yù)制，鏈路效率高

無(wú)功補(bǔ)償

電容或SVG，APFSVG，APF

諧波處理

負(fù)載兼容支持ICT設(shè)備，空調(diào)，水泵等支持ICT設(shè)備，空調(diào)，水泵等

占地面積集成度低，占地面積大集成度高，占地小，節(jié)約配電面積30%以上

施工周期長(zhǎng)，包括內(nèi)部連接橋架、約200+根電力電纜，還需協(xié)施工周期短，內(nèi)部無(wú)連接電纜，全鏈路預(yù)制式銅排連

施工周期

調(diào)設(shè)備的貨期，存在施工串行工作接，節(jié)省施工時(shí)間75%以上

可靠性2N架構(gòu)，滿足國(guó)標(biāo)A級(jí)，可靠性依賴于現(xiàn)場(chǎng)施工質(zhì)量2N架構(gòu)，滿足國(guó)標(biāo)A級(jí)，工程預(yù)制可靠性高

品牌單一，銅排連接，關(guān)鍵部件模塊化可插拔設(shè)計(jì)，

品牌數(shù)量雜多，傳統(tǒng)電表，電纜連接，第三方集成安裝，無(wú)預(yù)

可維護(hù)性鏈路本地可視化，溫度、易損件壽命等AI預(yù)測(cè)，智能

測(cè)，依賴大量工人維護(hù)，故障時(shí)責(zé)任界面不清晰

化維護(hù)，責(zé)任界面清晰

可視化傳統(tǒng)電表，系統(tǒng)不可視，需第三方整體集成配備一體化監(jiān)控系統(tǒng)，本地全鏈路可視

07

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

結(jié)合以上比較，數(shù)據(jù)中心傳統(tǒng)供配電方案和電力模塊供配電方案對(duì)比分析如下：

1.電力模塊進(jìn)一步減小設(shè)備占地面積，相比傳統(tǒng)供配電方案節(jié)約30%以上建筑面積，可以提升機(jī)房IT機(jī)柜的出柜率。

2.電力模塊相比傳統(tǒng)供配電方案降低損耗、高效省電。

3.傳統(tǒng)供配電系統(tǒng)設(shè)備來(lái)源多個(gè)供應(yīng)商，銅排、線纜均需要現(xiàn)場(chǎng)設(shè)備到場(chǎng)就位工勘后再加工，設(shè)備的安裝、母線

線纜的加工和安裝、設(shè)備單體調(diào)試、聯(lián)調(diào)、系統(tǒng)驗(yàn)證，整個(gè)周期大于2月；電力模塊進(jìn)一步縮短現(xiàn)場(chǎng)交付時(shí)間，

單套交付時(shí)間控制在2周以內(nèi)。

4.電力模塊相比傳統(tǒng)方案供配電系統(tǒng)鏈路連接點(diǎn)更少，系統(tǒng)更為簡(jiǎn)單，出現(xiàn)失效故障的可能性更低；工廠組裝預(yù)

制化，標(biāo)準(zhǔn)流水式作業(yè)，出廠測(cè)試，安裝施工總裝環(huán)節(jié)引入失效點(diǎn)的可能性更小，相比傳統(tǒng)方案可靠性更高。

5.電氣故障是影響全球數(shù)據(jù)中心安全運(yùn)行的主要原因，電力模塊具備獨(dú)有的AI診斷功能，對(duì)部件使用壽命進(jìn)行預(yù)

測(cè)，提前發(fā)出告警，防患于未然，避免部件故障影響系統(tǒng)運(yùn)行。

6.電氣設(shè)備溫度高是常見(jiàn)問(wèn)題，一旦引起火災(zāi)將導(dǎo)致難以估量的嚴(yán)重后果。電力模塊設(shè)備部署溫度監(jiān)測(cè)傳感器，

實(shí)時(shí)監(jiān)測(cè)關(guān)鍵部件溫度，及時(shí)發(fā)現(xiàn)隱患點(diǎn)，避免電氣火災(zāi)的發(fā)生，提高系統(tǒng)運(yùn)行可靠性。

?中小場(chǎng)景的一體化供配電方案

而對(duì)于小型的數(shù)據(jù)中心，負(fù)載在50~200kW范圍，推薦采用一體化供電設(shè)備。一體化供電設(shè)備包含市電輸入、UPS設(shè)備、

IT電源分配、制冷電源分配以及照明燈其他電源分配等功能，通過(guò)高集成的設(shè)計(jì)，減少線纜連接和施工工作，以避免現(xiàn)場(chǎng)

施工問(wèn)題導(dǎo)致的端接不良。

模塊化設(shè)計(jì)是供配電產(chǎn)品設(shè)計(jì)的重要特征，通過(guò)模塊化的設(shè)計(jì)和部件的冗余，可大幅提升供配電設(shè)備運(yùn)行的可靠性。

針對(duì)傳統(tǒng)供配電設(shè)備不可視的問(wèn)題，可以通過(guò)增加數(shù)字化監(jiān)控的方式解決，如必要的電表、傳感器等部件，通過(guò)內(nèi)置的溫

度傳感器，可有效監(jiān)測(cè)設(shè)備內(nèi)部關(guān)鍵節(jié)點(diǎn)的運(yùn)行情況，以防止由于線纜老化、端接不良等原因?qū)е碌臏囟犬惓?，避免供?/p>

電中斷甚至火災(zāi)的發(fā)生。

?備電系統(tǒng)的鋰電化

針對(duì)數(shù)據(jù)中心備電場(chǎng)景，得益于鋰電池行業(yè)的迅猛增長(zhǎng)，當(dāng)前鋰電池全生命周期成本已明顯低于鉛酸電池，且具備更小的

體積，較輕的重量，可降低數(shù)據(jù)中心對(duì)于環(huán)境的選址要求，逐漸成為數(shù)據(jù)中心備電的首選方案。在可靠性方面，鋰電池相

比于鉛酸電池具備以下優(yōu)勢(shì)：

1.較長(zhǎng)的衰減周期：鋰電池具備更長(zhǎng)的使用壽命，在實(shí)際使用中，鋰電池容量衰減較慢，相同放電深度條件下鉛

酸電池往往在3~5年內(nèi)，整體容量會(huì)衰減到額定容量的80%以下，而鋰電可使用10年以上。如運(yùn)維團(tuán)隊(duì)不能及

時(shí)更換，將造成數(shù)據(jù)中心備電時(shí)間縮短，影響數(shù)據(jù)中心備電可靠性。同時(shí)在更換過(guò)程中會(huì)造成系統(tǒng)可靠性下降，

誤動(dòng)作，調(diào)試安全等風(fēng)險(xiǎn)，鋰電在數(shù)據(jù)中心全生命周期無(wú)需更換優(yōu)勢(shì)明顯。

2.更加精密的電池管理系統(tǒng)：電池事故的主要原因主要是過(guò)充過(guò)放，此時(shí)電池監(jiān)控系統(tǒng)至關(guān)重要，鉛酸電池為傳

統(tǒng)化工行業(yè)，和電池監(jiān)控解耦，無(wú)法針對(duì)電池進(jìn)行精細(xì)化管理。而鋰電池具備更精密的電池管理系統(tǒng)，可針對(duì)

pack級(jí)別進(jìn)行精細(xì)化調(diào)整，保障充電和放電過(guò)程的可靠性。

08

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

?行級(jí)分布式近端制冷

中小數(shù)據(jù)中心規(guī)模小，環(huán)境復(fù)雜度高，風(fēng)冷型行級(jí)精密空調(diào)可以降低數(shù)據(jù)中心的選址要求和安裝、運(yùn)維復(fù)雜度。而近端制

冷+封閉冷/熱通道模塊化也是目前中小數(shù)據(jù)中心空調(diào)制冷的主要形式，在多個(gè)行業(yè)中廣泛使用；近端制冷對(duì)于多樣化復(fù)雜

場(chǎng)景的數(shù)據(jù)中心優(yōu)勢(shì)明顯，可支持的功率密度在密封通道條件下范圍大，在6-25kW/rack都能夠獲得較好的制冷效果，在

機(jī)柜功率密度不斷提升的未來(lái)，其應(yīng)用場(chǎng)景占比將持續(xù)增加。并且其在對(duì)架空地板無(wú)強(qiáng)制要求，配置冗余更加靈活，故障

影響面小等方面表現(xiàn)也更為優(yōu)異，可實(shí)現(xiàn)中小數(shù)據(jù)中心所要求的靈活性、可預(yù)測(cè)性、可擴(kuò)展性、低能耗、低總體擁有成本

以及最高的可用性。

另外在產(chǎn)品設(shè)計(jì)本身上，以下各項(xiàng)產(chǎn)品功能也對(duì)可靠運(yùn)行影響較大：

模塊化設(shè)計(jì)：制冷設(shè)備的維護(hù)較為復(fù)雜，對(duì)于核心器件，如電控、驅(qū)動(dòng)、風(fēng)機(jī)等部件，均采用模塊化可更換設(shè)計(jì)，并做

適當(dāng)冗余，可提升制冷設(shè)備的運(yùn)行可靠性，同時(shí)降低產(chǎn)品的維修難度，縮短設(shè)備的故障處理時(shí)間。

低負(fù)載除濕功能：中小型數(shù)據(jù)中心的業(yè)務(wù)不確定性大，往往在運(yùn)行初期負(fù)載率較低，由于制冷設(shè)備的工作原理，在低載

時(shí)易發(fā)生壓縮機(jī)頻繁啟停，導(dǎo)致高濕環(huán)境中，空調(diào)無(wú)法穩(wěn)定除濕，機(jī)房大量凝露，甚至損壞IT設(shè)備，該現(xiàn)象在濕熱區(qū)域尤

為明顯。隨著技術(shù)發(fā)展，業(yè)界已有新的控制邏輯可確?？照{(diào)穩(wěn)定除濕，因此制冷產(chǎn)品應(yīng)具備低負(fù)載除濕功能，以保障高濕

熱地區(qū)的數(shù)據(jù)中心運(yùn)行可靠。

制冷劑檢測(cè)功能：風(fēng)冷空調(diào)依靠制冷劑相變散熱，作為熱量傳遞的媒介，制冷劑的重要性不言而喻。但受限于運(yùn)行環(huán)境

復(fù)雜，銅管自然老化，意外損壞等因素，部分空調(diào)在運(yùn)行多年后會(huì)有制冷劑不足的情況，不但導(dǎo)致空調(diào)制冷量降低，機(jī)房

溫度過(guò)高，甚至損壞壓縮機(jī)等設(shè)備。該情況的發(fā)生較為緩慢，因此更加難以發(fā)現(xiàn)處理。當(dāng)前部分精密空調(diào)可通過(guò)傳感器+

智能算法的方式，進(jìn)行制冷劑容量的實(shí)時(shí)監(jiān)測(cè)，該功能可有效避免制冷劑泄露導(dǎo)致的可靠性問(wèn)題。

圖7濕膜加濕和電極加濕方案示意

濕膜加濕：精密空調(diào)的功能在于維持穩(wěn)定的溫度和濕度，在加濕功能上，傳統(tǒng)的精密空調(diào)采用電極或紅外加濕，此種方

式對(duì)于水質(zhì)要求較高，而中小型數(shù)據(jù)中心水質(zhì)往往缺少較為專業(yè)的軟化水裝置，導(dǎo)致精密空調(diào)加濕機(jī)構(gòu)結(jié)垢甚至堵塞，以

影響數(shù)據(jù)中心加濕功能。當(dāng)前較為可靠的方式為濕膜加濕，通過(guò)濕膜蒸發(fā)的方式調(diào)節(jié)濕度，此種方式由于不存在水體加熱，

不易產(chǎn)生結(jié)垢的情況，相比于電極或紅外加濕，可靠性更高。

對(duì)于數(shù)據(jù)中心節(jié)能減排的趨勢(shì)，越來(lái)越多的數(shù)據(jù)中心采用節(jié)能型制冷方式，如針對(duì)的大型數(shù)據(jù)中心的間接蒸發(fā)冷卻、針對(duì)

于小型數(shù)據(jù)中心的氟泵、熱管背板、室外機(jī)多聯(lián)等技術(shù)。從效果上看都可以降低制冷系統(tǒng)耗電的訴求?？紤]到制冷系統(tǒng)對(duì)

數(shù)據(jù)中心業(yè)務(wù)重要性，中小型數(shù)據(jù)中心應(yīng)傾向于選擇成熟、分布式且機(jī)組之間解耦的制冷方式，如氟泵空調(diào)，通過(guò)配置

N+1冗余的方式，可在降低數(shù)據(jù)中心耗電的同時(shí)滿足高可靠性要求。

09

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

3.2.3.供電和制冷融合設(shè)計(jì)

傳統(tǒng)意義來(lái)看，供電和制冷屬于不同子系統(tǒng)，其設(shè)計(jì)和建設(shè)相對(duì)獨(dú)立，但從整體可靠性而言，二者有相互融合的趨勢(shì)，如

針對(duì)于中小數(shù)據(jù)中心的連續(xù)制冷方案，考慮從冷電融合的角度進(jìn)行設(shè)計(jì)，以提高整個(gè)系統(tǒng)可靠性。

傳統(tǒng)的中小數(shù)據(jù)中心，具有設(shè)備密度小、服務(wù)器功率低、空間開(kāi)放等特點(diǎn)?，F(xiàn)有中小數(shù)據(jù)中心的設(shè)計(jì)與實(shí)施中，IT設(shè)備基

本配備不間斷供電系統(tǒng)并保證15min以上備電功能，相應(yīng)空調(diào)系統(tǒng)缺乏對(duì)應(yīng)配置。大多因?yàn)槌杀?、能源供給、使用空間等

因素，不具備制冷冗余和災(zāi)備體系。這樣的中小數(shù)據(jù)中心出現(xiàn)制冷中斷時(shí)，依靠原本機(jī)房空間的蓄冷和開(kāi)窗通風(fēng)、風(fēng)扇吹

等手段扛過(guò)設(shè)備重啟的時(shí)間空檔。

但隨著數(shù)字化轉(zhuǎn)型的深入，各行各業(yè)已經(jīng)紛紛將業(yè)務(wù)遷移到線上，對(duì)于在線服務(wù)的依賴性不斷提升，一旦服務(wù)中斷損失將

無(wú)法估算。同時(shí)，因?yàn)闃I(yè)務(wù)的遷入以及各類數(shù)字工具的應(yīng)用，極大提升了中小數(shù)據(jù)中心算力規(guī)模，IT負(fù)載和能耗都在同步

攀升。在這種情況下，一旦出現(xiàn)制冷故障，服務(wù)器溫度會(huì)在幾分鐘內(nèi)飆升到無(wú)法正常運(yùn)轉(zhuǎn)的程度。

當(dāng)前已經(jīng)有部分?jǐn)?shù)據(jù)中心客戶在設(shè)計(jì)之初認(rèn)識(shí)到這個(gè)問(wèn)題，從而采用為空調(diào)系統(tǒng)單獨(dú)備電的方案，但該方案仍然投資較大，

同時(shí)空調(diào)作為動(dòng)力設(shè)備，運(yùn)行諧波和故障率遠(yuǎn)高于IT設(shè)備，對(duì)UPS及配電設(shè)備也存在一定影響。

冷電融合的設(shè)計(jì)，為一種新型的數(shù)據(jù)中心產(chǎn)品架構(gòu)，該架構(gòu)將針對(duì)IT設(shè)備的供配備電產(chǎn)品和針對(duì)制冷設(shè)備供配備電產(chǎn)品融

合設(shè)計(jì)，可同時(shí)為IT設(shè)備和制冷設(shè)備提供穩(wěn)定供電，從而在架構(gòu)上顯著提升數(shù)據(jù)中心可靠性。該架構(gòu)具備以下特點(diǎn)：

融合設(shè)計(jì)：中小數(shù)據(jù)中心負(fù)載較小，單個(gè)模塊總IT功率在80~120kW之間，融合設(shè)計(jì)可在單柜內(nèi)完成單個(gè)模塊的

UPS及配電功能，并大幅減少現(xiàn)場(chǎng)的接線和施工工作，以避免由于施工工藝導(dǎo)致的可靠性問(wèn)題。

故障隔離：傳統(tǒng)意義上認(rèn)為，動(dòng)力設(shè)備的故障率高于電子信息設(shè)備，在為制冷供電時(shí)，應(yīng)考慮由于故障導(dǎo)致的

UPS過(guò)載等極端情況，以避免由于單臺(tái)制冷設(shè)備故障導(dǎo)致的所有制冷設(shè)備宕機(jī)甚至是服務(wù)器宕機(jī)。

諧波補(bǔ)償：制冷設(shè)備由于內(nèi)部存在壓縮機(jī)、風(fēng)機(jī)等高耗電、非線性設(shè)備，設(shè)備運(yùn)行產(chǎn)生的諧波易反饋至UPS側(cè)，

對(duì)同端負(fù)載造成影響，因此UPS應(yīng)具備相應(yīng)的諧波補(bǔ)償措施，以避免由于諧波導(dǎo)致的供電質(zhì)量降低。

3.2.4.監(jiān)控產(chǎn)品可靠

當(dāng)前多數(shù)數(shù)據(jù)中心的運(yùn)維安全依賴于富有經(jīng)驗(yàn)、訓(xùn)練有素的運(yùn)維團(tuán)隊(duì)、專業(yè)化的運(yùn)維流程，以及強(qiáng)大的運(yùn)維平臺(tái)，而中小

型數(shù)據(jù)中心由于規(guī)模較小，受限于軟硬件投資、人力成本等因素，往往不具備以上全部條件，較難進(jìn)行專業(yè)團(tuán)隊(duì)24小時(shí)不

間斷運(yùn)維，甚至部分中小數(shù)據(jù)中心處于無(wú)人管理的狀態(tài)，對(duì)于設(shè)備的運(yùn)行狀態(tài)、維護(hù)保養(yǎng)的數(shù)據(jù)進(jìn)行被動(dòng)響應(yīng)，嚴(yán)重降低

中小數(shù)據(jù)中心的運(yùn)行可靠性，也大幅增加了中小型數(shù)據(jù)中心故障后的恢復(fù)時(shí)間。

智能化的移動(dòng)運(yùn)維工具將是提升中小型數(shù)據(jù)中心運(yùn)維可靠性的重要手段，通過(guò)將管理系統(tǒng)部署在云端，實(shí)現(xiàn)對(duì)機(jī)房的高效

運(yùn)維，相比于大型數(shù)據(jù)中心的運(yùn)維管理系統(tǒng)，移動(dòng)運(yùn)維工具應(yīng)具備以下特點(diǎn)：

輕量化：輕量化的監(jiān)控產(chǎn)品，不止在于降低用戶的投資和部署難度，更有利于提供輕量簡(jiǎn)單的平臺(tái)工具，降低用

戶學(xué)習(xí)成本、維護(hù)成本，更加切實(shí)有效的提供監(jiān)控運(yùn)維功能，提升數(shù)據(jù)中心運(yùn)行穩(wěn)定性。

容錯(cuò)性：監(jiān)控產(chǎn)品作為管理工具，應(yīng)具備比UPS、精密空調(diào)更高的可靠性，以做到有效管理。對(duì)于電源、通信組

網(wǎng)等核心要素，監(jiān)控產(chǎn)品應(yīng)具備容錯(cuò)性，保障在遇到故障時(shí)可以做到穩(wěn)定運(yùn)行，可靠監(jiān)控。

可移動(dòng)性：受限于中小型數(shù)據(jù)中心非24小時(shí)連續(xù)性運(yùn)維，監(jiān)控產(chǎn)品應(yīng)具備可移動(dòng)管理的功能，不受限于用戶位置

的限制，提供實(shí)時(shí)的、不間斷的監(jiān)控功能，以便于在故障發(fā)生時(shí)有效提醒，快速響應(yīng)。

綜上所述，作為中小型數(shù)據(jù)中心運(yùn)行可靠性的重要因素，移動(dòng)運(yùn)維工具可提供智能化、輕量化、安全可靠的管理，在減少

投資的同時(shí)，有效解決中小數(shù)據(jù)中心無(wú)專人管理、運(yùn)維技能缺失等問(wèn)題，提升中小型數(shù)據(jù)中心的運(yùn)行可靠性。

10

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

3.3.運(yùn)行可靠

近年來(lái)，隨著大數(shù)據(jù)、云計(jì)算等技術(shù)的快速發(fā)展，數(shù)據(jù)中心的規(guī)模更加龐大，管理越發(fā)精細(xì)，承載的功能也越來(lái)越復(fù)雜，

數(shù)據(jù)中心的監(jiān)控節(jié)點(diǎn)數(shù)由萬(wàn)級(jí)上升至百萬(wàn)級(jí)，數(shù)據(jù)中心的控制器件，由傳統(tǒng)的嵌入式架構(gòu)，逐漸升級(jí)為工控主機(jī)，其功能

由傳統(tǒng)的動(dòng)環(huán)監(jiān)控，升級(jí)為管理運(yùn)維的綜合平臺(tái)。但隨著軟硬件復(fù)雜程度的增加，軟件漏洞和網(wǎng)絡(luò)安全的風(fēng)險(xiǎn)也日益突出。

2022年，某品牌UPS被曝出存在相關(guān)的軟件漏洞，據(jù)研究人員聲稱：通過(guò)利用RCE漏洞，我們能夠繞過(guò)軟件保護(hù)，讓電流

尖峰周期反復(fù)運(yùn)行，直到直流鏈路電容器被加熱到約150攝氏度(~300F)，這會(huì)導(dǎo)致電容器爆裂，釋放大量電解質(zhì)氣體并導(dǎo)

致UPS‘變磚’，同時(shí)對(duì)關(guān)聯(lián)設(shè)備造成附帶損害?！边@意味著軟件漏洞的風(fēng)險(xiǎn)從軟件業(yè)務(wù)層逐漸向基礎(chǔ)設(shè)施層蔓延，而基礎(chǔ)

設(shè)施的可靠性更為關(guān)鍵，一旦基礎(chǔ)設(shè)施出現(xiàn)問(wèn)題，將會(huì)為數(shù)據(jù)中心帶來(lái)災(zāi)難性損失。軟件可靠性已經(jīng)成為影響數(shù)據(jù)中心基

礎(chǔ)設(shè)施可靠性的重要考量因素。

作為智能世界的底座，數(shù)據(jù)中心的建設(shè)被上升到關(guān)乎經(jīng)濟(jì)社會(huì)發(fā)展，國(guó)家發(fā)展和安全的重要戰(zhàn)略高度，預(yù)計(jì)中長(zhǎng)期內(nèi)將會(huì)

對(duì)構(gòu)建新發(fā)展格局和經(jīng)濟(jì)增長(zhǎng)起到重要作用。在互聯(lián)網(wǎng)病毒肆虐，全球重點(diǎn)關(guān)注信息安全的環(huán)境下，各區(qū)域也針對(duì)網(wǎng)絡(luò)安

全頒布了相關(guān)規(guī)范。

3.3.1.軟件運(yùn)行可靠

軟件功能發(fā)展強(qiáng)大的同時(shí)，網(wǎng)絡(luò)攻擊也趨于常態(tài)化，數(shù)據(jù)中心軟件安全的風(fēng)險(xiǎn)也在增加，為保障數(shù)據(jù)中心安全穩(wěn)定運(yùn)行，

除了立法的規(guī)定，監(jiān)控軟件的網(wǎng)絡(luò)韌性也需要關(guān)注。由此來(lái)看，管理系統(tǒng)軟硬件應(yīng)采用高安全設(shè)計(jì)，比如對(duì)操作系統(tǒng)、數(shù)

據(jù)庫(kù)、管理軟件進(jìn)行加固，管理軟件與采集器之間傳輸通道必須采用加密傳輸?shù)仁侄?，避免管理系統(tǒng)安全成為用戶網(wǎng)絡(luò)中

的安全短板。整體來(lái)說(shuō)，管理系統(tǒng)應(yīng)具備以下可靠性措施：

數(shù)據(jù)中心基礎(chǔ)設(shè)施應(yīng)滿足國(guó)家《網(wǎng)絡(luò)安全法》相關(guān)網(wǎng)絡(luò)安全，系統(tǒng)自身應(yīng)進(jìn)行有關(guān)網(wǎng)絡(luò)安全設(shè)計(jì)。

基礎(chǔ)設(shè)施智能化系統(tǒng)宜按照設(shè)備采集層、統(tǒng)一監(jiān)控層、業(yè)務(wù)管理層、交互展示層的邏輯功能劃分。

智能硬件設(shè)備應(yīng)至少通過(guò)利用防火墻技術(shù)，遠(yuǎn)程訪問(wèn)使用VPN加密通道，防暴力破解、防DDoS攻擊，安全協(xié)議

SNMPV3(默認(rèn))，ModbusTCP加密通道等手段，實(shí)現(xiàn)網(wǎng)絡(luò)攔截。

智能硬件設(shè)備應(yīng)至少通過(guò)集中認(rèn)證控制，重要操作二次認(rèn)證，挑戰(zhàn)碼認(rèn)證，基于角色的權(quán)限管理等手段，實(shí)現(xiàn)認(rèn)證授權(quán)。

智能硬件設(shè)備應(yīng)至少通過(guò)數(shù)據(jù)范圍校驗(yàn)，軟件包數(shù)字簽名校驗(yàn)，可信計(jì)算，去Root化，OS加固，安全日志，進(jìn)程服務(wù)最

小化等手段，實(shí)現(xiàn)完整性校驗(yàn)。

智能硬件設(shè)備應(yīng)至少通過(guò)敏感數(shù)據(jù)加密存儲(chǔ)，敏感數(shù)據(jù)匿名化，安全通道傳輸數(shù)據(jù)、數(shù)據(jù)隔離等手段，實(shí)現(xiàn)數(shù)據(jù)保護(hù)。

統(tǒng)一監(jiān)控層宜各專業(yè)子系統(tǒng)和設(shè)備上報(bào)的數(shù)據(jù)進(jìn)行統(tǒng)一處理，對(duì)接不同廠家子系統(tǒng)和設(shè)備應(yīng)信息采集統(tǒng)一，并提供統(tǒng)一告

警、統(tǒng)一鑒權(quán)、統(tǒng)一安全設(shè)計(jì)和統(tǒng)一日志管理等基礎(chǔ)功能。

系統(tǒng)應(yīng)采用高安全設(shè)計(jì)，對(duì)操作系統(tǒng)、數(shù)據(jù)庫(kù)、管理軟件進(jìn)行加固，管理軟件與采集器之間傳輸通道須采用加密傳輸，對(duì)

于敏感數(shù)據(jù)和密碼等應(yīng)加密保護(hù)。

系統(tǒng)對(duì)來(lái)自客戶端、第三方系統(tǒng)等外部實(shí)體的數(shù)據(jù)的每個(gè)請(qǐng)求，應(yīng)在使用這些數(shù)據(jù)之前進(jìn)行語(yǔ)法驗(yàn)證、數(shù)據(jù)類型、數(shù)據(jù)長(zhǎng)

度校驗(yàn)。

系統(tǒng)應(yīng)對(duì)操作系統(tǒng)、數(shù)據(jù)庫(kù)、軟件使用各種加固手段進(jìn)行加固，應(yīng)支持限制和禁用不安全的服務(wù)、限制登錄次數(shù)和登錄時(shí)

間、限制連接數(shù)和連接時(shí)間、限制內(nèi)存大小、限制訪問(wèn)路徑、限制操作權(quán)限功能。

系統(tǒng)應(yīng)該對(duì)敏感數(shù)據(jù)進(jìn)行保護(hù)，應(yīng)對(duì)數(shù)據(jù)進(jìn)行加密保護(hù)、加密傳輸，并不存儲(chǔ)在應(yīng)用程序的內(nèi)存中。

系統(tǒng)應(yīng)對(duì)用戶進(jìn)行登錄認(rèn)證，對(duì)于多次登錄失敗的，應(yīng)鎖定賬號(hào)IP。

11

中小數(shù)據(jù)中心基礎(chǔ)設(shè)施可靠性關(guān)鍵要素白皮書

系統(tǒng)應(yīng)使用強(qiáng)密碼策略與密碼修改策略，宜包含長(zhǎng)度限制、字符組合及弱密碼檢測(cè)等常規(guī)策略，系統(tǒng)的用戶密碼、手機(jī)號(hào)、

郵箱等個(gè)人信息的存儲(chǔ)須經(jīng)過(guò)加密處理，不得明碼存儲(chǔ)。

系統(tǒng)應(yīng)使用業(yè)界公認(rèn)標(biāo)準(zhǔn)安全的協(xié)議來(lái)登錄后臺(tái)服務(wù)器或訪問(wèn)設(shè)備，安全協(xié)議參考SSHv2、HTTPS、FTPS、SNMPv3、

TLSv1.1、TLSv1.2。

系統(tǒng)日志應(yīng)包含安全日志、系統(tǒng)日志和操作日志，涵蓋系統(tǒng)內(nèi)所有的用戶活動(dòng)和操作指令，且不得刪除。

系統(tǒng)的安全事件、系統(tǒng)情況、操作指令應(yīng)做到可追溯，可查，可診。用戶安全事件活動(dòng)應(yīng)包含登錄和注銷，增加、刪除用

戶和用戶帳號(hào)、口令等屬性的變更，用戶的鎖定和解鎖、禁用和恢復(fù)，角色權(quán)限變更，系統(tǒng)相關(guān)安全配置（如安全日志內(nèi)

容配置）的變更，重要資源的變更，如某個(gè)重要文件的刪除、修改等。操作指令應(yīng)包括對(duì)系統(tǒng)配置參數(shù)的修改，對(duì)系統(tǒng)進(jìn)

行啟動(dòng)、關(guān)閉、重啟、暫停、恢復(fù)、倒換，對(duì)業(yè)務(wù)的加載、卸載，軟件的升級(jí)操作，對(duì)重要個(gè)人數(shù)據(jù)的創(chuàng)建、刪除、修改，

所有帳戶的命令行操作命令。

3.3.2.行業(yè)認(rèn)證

針對(duì)工商業(yè)領(lǐng)域軟件應(yīng)用的安全風(fēng)險(xiǎn)，國(guó)內(nèi)外已經(jīng)具備了完善的網(wǎng)絡(luò)安全測(cè)試規(guī)則，具體如下：

中國(guó)：公安三所網(wǎng)絡(luò)安全認(rèn)證。公安部第三研究所創(chuàng)建于1978年，是公安部直屬正廳級(jí)科研事業(yè)單位。該所主

要研究領(lǐng)域包括信息網(wǎng)絡(luò)安全、物聯(lián)網(wǎng)、特種通訊、以及社會(huì)公共安