數據中心冷源的選擇應用，不簡單！

2019年，工業和信息化部、國家發展改革委、國土資源部、電監會、能源局等五部委聯合發佈了《關於數據中心建設佈局的指導意見》。對數據中心建設提出了相應的要求，下面我們來看一下數據中心冷源的選擇和應用。

一、不同氣象區的選擇

1、我國五大氣象區域的氣象特點

我國面積有960萬平方公里，幅員遼闊，經度從東經72度到135度，按國際時區劃分，我國橫跨五個時區。我國地形複雜，溫度分佈極其不均，從南到北大概可分爲五個溫度區域：熱帶、亞熱帶、溫帶、中溫帶、寒溫帶。各個區域範圍如下：

2、常用冷源的分類

根據冷卻方式不同可以分爲：水冷式、風冷式。

根據冷量大小可分爲：大型空調冷源（Q＞3000kW）、中型空調冷源（500kW＜Q≤3000KW＝、小型空調冷源（20kW＜Q≤500kW。

根據是否帶有節能功能可分爲：普通空調機組、帶熱回收空調機組、freecooling式空調機組。

空調系統冷源的多樣性及我國溫度分佈的不均勻，決定了我國數據中心冷源選擇的多樣性。根據不同地區的氣候特點，選擇合適節能的數據中心冷源，是數據中心建設中一項非常重要的工作。數據中心冷源的選擇，不僅要考慮到機房的實際需求，更應該結合不同地區的溫度情況，儘可能地利用自然冷源，降低機械製冷的使用時間，這樣才能建造出綠色節能的數據中心。下表爲不同溫度帶對應冷源的選擇。

二、不同資源現狀的選擇

我國能源分佈不均，而且不同地區能源分佈差異很大。這就要求我們在進行數據中心冷源選擇的時候，要充分考慮到能源方面的因素，具體原則如下表。

隨着大數據時代的來臨，數據中心規模已經變得越來越大，而不同規模的數據中心對於冷源的選擇有不同的要求，選擇是要根據數據中心的大小來選擇冷源的形式。具體如下表不同規模的選擇：

三、數據中心水冷空調系統設計

1、現代數據中心發展特點

近年來隨着雲計算技術的快速發展，全球數據中心開始向着巨型化的方向發展，單機櫃功率密度不斷提高，5KW、7KW、10KW甚至幾十KW功率機櫃已逐步成爲常規配置。新一代數據中心更顯著的表現爲：規模更大、密度更高、製冷要求更高、局部過熱成爲常態等特點。數據機房的高功率密度化對空調系統的製冷及機房散熱提出了更高的要求，空調系統短時間的供冷中斷都會造成IT設備過熱宕機，傳統風冷空調的製冷方式已無法滿足機房製冷需求。如何保障新一代數據中心空調系統的能夠長期、持續、穩定的爲數據中心機房提供所需的環境溫度、溼度成爲每個數據中心運維管理人員必須面臨的問題，而空調系統的供電方式對上述保障要求能否達到起着關鍵作用。

2. 新一代數據中心與傳統數據中心的差異

傳統數據中心一般功率密度較低，多數單機櫃功耗低於2KW，在空調系統故障停止供冷時，只要保持IT設備供電連續，通過增加風機、開窗等手段仍可保持數據中心連續不中斷運行，因此在傳統數據中心的運維管理中空調系統的重要性往往不像供電那樣受到重視。新一代數據中心對運維管理的重點進行了重新定義，空調系統與數據中心供電一樣決定着數據中心能否安全穩定運行。

有研究者在工作中按照ASHARE標準測試方法，利用假負載對模擬了一個設計功耗5KW/機櫃機房失去空調製冷後機房溫度上升情況。試驗選擇一個350平米機房內，機房內安裝機櫃158個。測試前啓動假負載和空調，使機房溫度達到數據機房正常運行穩定狀態。關閉機房兩側末端空調模擬空調失去供冷。空調製冷系統停止運行後，靠機房空間的冷量只能維持不到3分鐘。

由此可見隨着IT設備功率密度的不斷提升，數據機房允許的空調停止運行時間已成爲分鐘級，在此條件下通過運維人員“現場維修”來排除空調系統故障恢復機房製冷已不再可能。空調系統短時間停止運行都會造成機房內熱量的快速堆積，並引發設備高溫宕機，因此保障空調系統安全穩定運行的供電系統的重要性也進一步凸顯。

3. 高功率密度數據中心水冷空調系統的供電設計注意事項

新一代數據中心典型的空調水冷系統的結構基本都是由下屬三大部分組成：

(1) 由冷卻塔+冷卻水泵+冷卻水供水及回水管路組成的空調冷卻水系統;

(2) 由冷水機組+冷凍水泵+冷凍水供水、回水管路組成的空調冷凍水系統;

(3) 由分水器+末端空調+風機盤管+集水器+冷凍水泵組成的空調製冷量分配系統。

同時爲保證冷凍水供水和冷卻水供水系統均能可靠、穩定運行，設計中將冷水機組、冷凍水泵、冷卻水泵分水器、集水器、主管路等都設計成1+1冗餘備份方式。儘管空調系統的設計中採用了冗餘等多重保障措施，但若空調系統供電設計中一些缺陷仍然離不開一個高可靠的供電系統來保證空調系統可以持續穩定的爲數據機房提供製冷。

3.1水冷空調系統供電方案的常規設計

水冷空調系統供電設計中冷凍水泵、冷卻水泵、末端空調等關鍵設備一般採用雙路市電+ATS開關的冗餘型供電方案：

對於採用低壓油機作爲後備電源的數據中心，空調系統一般設計爲有油機保障的雙路市電輸入+ATS開關，正常運行時兩路市電首先饋送至ATS開關，並可以選擇其中一路作爲主用，另一路作爲備用。正常運行時由作爲主用的一路向水泵、末端空調等設備供電，當主用路故障是可以自動切換至備用路工作。ATS開關的轉換可以在秒級時間內完成，秒級的中斷完全滿足空調系統停止運行時間要求。

對於採用高壓油機作爲後備電源的數據中心，由於目前一些地區的電力主管部門往往會對高壓油機的自動投切進行限制，人工投切會延長高壓油機供電恢復時長，因此多數空調系統供電設計中會爲末端空調和冷凍水泵配置UPS、EPS等不間斷電源保證在高壓油機投切器件的連續供冷。

3.2水冷空調系統供電方案設計中應避免“單點故障”

在上述兩種常規設計中均採用ATS作爲實現雙路供電自動切換的關鍵器件，可滿足一般但從ATS實際應用效果看ATS仍然存在一定的故障率導致該動作不動作或誤動作等。ATS承載下端所有水泵或末端空調的負荷，存在明顯單點故障，ATS故障將導致下端所有設備斷電。對於高功率密度的數據機房，ATS故障可造成末端空調停止供冷機房溫度快速上升或冷凍水泵停轉末端空調無冷量補充進而造成機房高溫宕機風險。爲避免將所有雞蛋放在一個籃子中的風險，爲末端空調配電系統增加一個ATS開關，將相互間隔的空調分屬不同配電系統，提高高功率密度數據機房安全性。

3.3水冷空調系統供電方案設計中應考慮“連續製冷”

由於高功率密度數據機房在空調失去製冷條件下機房溫度累積非常迅速，空調設備短時間停止供冷就可造成IT設備高溫宕機。因此在進行新一代數據中心的規劃設計時應充分考慮到連續製冷的必要性。一種觀點認爲，在數據中心設計階段進行負荷評估時往往大於後期實際裝機的負荷，因此認爲過度強調連續製冷一方面會造成空調系統配電設備投資的加大，另一方面還可能造成後期設備利用率低等問題。但按照IT技術的發展趨勢，每5年左右功率密度會有一次技術更新，而數據中心一般設計生命週期一般不低於30年，因此在數據中心的規劃設計階段必須考慮到後期擴容和技術更新。

數據中心連續製冷的完整解決方案不僅包括空調末端、冷凍水泵的不間斷運行，還應設置蓄冷罐儲備一定的冷凍水用於冷水機組停止工作時可以通過蓄冷罐向空調水系統補充冷水。爲空調末端和冷凍水泵均配置UPS保持數據機房的末端空調在市電停電、高壓油機恢復供電前機房內空氣繼續循環流動，轉將冷凍水管路中冷凍水繼續被輸送至空調末端機房提供冷量，儲存在蓄冷罐內的冷凍水補充到管路中爲冷凍水管路中繼續補充冷量以滿足連續製冷需求。

解決空調系統連續製冷需增加蓄冷罐、UPS、蓄電池組及管路等，這些會增加數據中心建設初期的投資，但會是數據中心後期業務發展的適應性大大增強。一旦建設初期未設計待後期再行優化改造不僅增加帶業務改造的風險而且會造成投資進一步加大。目前部分新建數據中心出現的因前期未考慮連續製冷投產後不滿足製冷需求而不得不進行改造的案例很值得思考，上述情況的出現一方面因設計初期對功率密度的增長缺乏長期考慮，另一方面對高功率密度機房失去製冷情況下的溫升情況缺乏全面認識。

3.4水冷空調系統供電方案設計中應考慮啓動衝擊電流

對於冷凍水型空調系統，末端空調的主要耗電爲風機。風機主要爲感性負載，在電流突變時一般認爲會產生較大的衝擊電流，尤其從靜止狀態突然啓動，這一點在傳統AC風機上表現更爲突出;冷凍水泵則是典型的感性負載突加負載時衝擊電流更大，通常會達到額定負載的6、7倍。基於上述原因，通常認爲如果給末端空調和水泵配置不間斷電源(UPS或EPS時)必須要考慮衝擊電流的容量。但從實際應用看，當末端空調或水泵的市電供電中斷時UPS蓄電池會立即通過逆變器承擔負荷，此時風機或電機仍在高速旋轉，其衝擊電流與從靜止狀態突然加載時完全不同的。末端空調風機一般功率較小，因此普通UPS完全可以作爲備用電源，對於水泵類負荷，應負荷較大可選用抗衝擊能力更大的EPS更爲合適。

3.5儘可能設置獨立的加溼器爲機房加溼

在新一代數據中心冷水型空調系統的末端空調選型時，部分數據中心選擇帶加溼加熱功能的末端空調，但從運維經驗建議儘可能將機房製冷和加溼分開處理。衆所周知，空氣溼度會隨着溫度的變化而變化，尤其對於裝機過程中的數據機房由於機房安裝的機櫃位置、單機櫃發熱量等不同必然會造成不同位置溫度、溼度不同。製冷、加溼、加熱一體的末端空調爲了達到設定的溫溼度值難以避免出現加熱與製冷打架、加溼與初始打架現象，大大增加了運行功耗。

採用專用加溼機，例如在機房安裝專用的水膜加溼機，不僅能耗大大降低而且可以有效避免上述打架現象，降低機房製冷整體能耗。