網絡機房搬遷的實施與經驗
一、 背景
——隨着企業發展會涉及辦公、生產場所的新建、搬遷或機房改建等多種情況，這其中網絡機房遷移就是一項非常重要的工作，涉及多類不同設備，包含單位核心數據、諸多核心資產等，可以說機房的遷移是一項細緻而精密工程。
——2012年我擔任某大型企業機房搬遷項目的顧問時就遇到過機房搬遷的諮詢項目，此次新機房的建設完全按照IDC機房建設標準實施。由於目前缺乏可借鑑的經驗，策劃人員在機房規劃佈局、動力系統安裝、網絡佈線、防雷系統安裝、KVM（遠程控制系統）選購等關鍵環節上反覆論證，諮詢了行業內外衆多專家，克服了重重困難，於2012年年底基本完成機房建設工作。機房建設全部竣工以後，機房的搬遷工作即成爲信息中心的重要工作之一。
——機房搬遷工程複雜，不僅要把200多臺生產設備安全遷移到新機房，而且要求網絡系統的遷移和集中存儲系統的遷移必須安全平穩，不能過長時間影響生產應用。同時此次搬遷規模大、難度高，沒有任何可以借鑑的經驗。
——經過多次溝通能感受到該公司信息主管對機房搬遷工作非常重視，併成立專門項目組，總體負責網絡機房搬遷工作，並根據搬遷工作的特點制定了各部門的工作職責。與此同時，爲保證搬遷的平穩、可靠，確定了“分批搬遷、平穩過渡”的總體搬遷方針。經過反覆論證、數次討論，制定了詳細的搬遷方案。
——爲保證搬遷工作的萬無一失，各系統在制定了周詳的遷移方案的同時還分別制定了應急回退方案，確保在搬遷過程中出現異常問題時可以及時恢復生產。2012年7月，在正式申請立項後，並提交了機房搬遷方案。10月分別進行了測試服務器、測試終端及部分非重要服務器的二次小範圍搬遷工作，既對機房基礎環境進行了驗證，同時也積累了大量寶貴的搬遷經驗。
二、 準備充分，實施順利
——機房搬遷的前期準備工作基本就緒之後，集團公司召開了搬遷領導小組會議，確定涉及生產環境的網絡設備、綜合前置、通用網關、集中存儲等200多臺設備的正式搬遷工作於12月15日開始。考慮到網絡環境的調整和集中存儲與各個應用服務器之間複雜的系統關係，爲了減少搬遷風險，信息中心對搬遷的設備進行了細緻的分析研究，最終按照“網絡先行，應用平穩，主備分開”的原則，設備分爲三個批次進行搬遷。
——在正式發出通知後，於12月16日下班後，搬遷工作如期開始。第一批搬遷工作於次日凌晨1：20順利結束；12月17日，第二批搬遷工作由於涉及線路割接和存儲系統（磁盤陣列）的搬遷，持續10個小時之久，由於涉及體積較大的磁帶庫的搬遷，搬遷過程非常複雜，新舊機房採取搭架吊裝的方式進行；第三批搬遷於12月19日進行，涉及多臺SUN服務器和IBM小型機等以及服務器的數TB的生產環境的數據遷移，持續時間近8個小時;工作組成員放棄了很多節假日休息，克服了重重困難，在保障正常生產運行的同時，完成了大到方案制定、人員組織分工、技術準備，小到每臺設備尺寸測量、定位，相關工具準備等龐雜的工作。正是在所有參與人員的共同努力下，新機房的搬遷工作順利完成,未出現斷網情況，未出現任何生產事故。
前提條件:
——新址工作區必須是裝修完整，空調、照明配套，特別是主機房應擺設好相應機櫃、機架，並配有準確可靠的強弱電佈線設施。
現有設備分佈情況：
——本次機房搬遷涉及的設備主要有：90多臺IBM、HP服務器，5個盤櫃，多臺HP UPS，90多臺路由及交換設備，3臺代理服務器（包括硬件代理）以及數臺網管工作站等。
搬遷工作步驟:
總體原則：搬運網絡設備優先搬運服務器，然後再搬運終端設備如PC
1）. 繪製圖紙，詳細對比搬遷前後的情況；提前規劃各個機櫃、各個網絡設備的擺放位置，還要事先量好機器的具體尺寸，對所有設備進行編號，並填入登記表中之後到現場規劃機器的具體擺放位置，力爭最合理、最充分地利用機房的有效空間。此處需要注意的問題：如果需要擴展機櫃，則提前將綜合佈線的數據信息點打在配線架上，這樣，等把交換機路由器等網絡設備搬遷過來，安裝好跳線，則網絡就可以正常使用。
2）. 系統備份：分系統的數據備份，可使用USB移動硬盤進行備份；保證所有數據不外泄露；備份同時可以進行按圖紙，在設備的顯著位置貼編號（兩個），保證在搬遷時不被刮落。
3）. 對設備進行分類統計:其中的設備包括UPS、配線架、核心交換機、服務器、防火牆、存儲設備等，我們對於機房目前涉及的設備統計，給出進一步詳細的設備統計信息，包括設備型號、配置、所在的網絡等，在搬遷之前給出相應的表格記錄文檔，確定相關的輔助設備配件等，同樣需要有詳細的記錄文檔。
4）. 網絡設備保潔處理、加固處理、外包裝裝箱處理。
5）. 關閉系統、斷開系統電源、從各服務器拆卸硬盤分別編號包裝。
6）. 網絡及安全設備停機和拆離: 在網絡機架上按照交換機、中心交換機、路由器、***檢測、防火牆的順序將設備依次關閉，待系統完全停止後切斷電源。將設備從機櫃中拆離並整理線纜，注意記錄各個設備在機架上的位置。此外備份交換機IOS,及配置文件。
（1）用console和一根直通網線將PC與交換機相連,以com1口爲例.前者爲配置而用,後者爲傳輸而用。
（2）打開一個超級終端（或minicom）,並設置好連接參數。
（3）登陸到交換機執行copy flash tftp命令, 經過數分鐘時間，即可將IOS下載到指定的目錄。
a）. 關閉電源步驟：先關掉所有的服務器工作站，關掉交換機路由器等用電設備，然後關掉總的電源，最後才進行服務器的拆卸。（注意關機前備份配置文件，長時間開機的服務器需要在正常操作情況下備份關鍵數據，以防起不來系統）
b）. 服務器重啓正確操作
關機操作:
關閉操作系統;
關閉主機電源;
關閉外設電源(如磁盤陣列，磁帶庫等);
關閉其他設備電源和機櫃電源;
關閉總電源。
開機操作:
打開總電源;
打開計算機機櫃電源;
打開外部設備電源(如磁盤陣列,磁帶庫等 );
待外部設備自檢完成後，最後打開主機電源。
加電啓動機器，如果機器能夠啓動，說明系統完好；如果加電之後就有問題，說明系統在搬遷之前就有問題，不是在搬遷過程中造成的。
c）. 先要備份Server上數據文件。其次服務器的應用程序全部停掉;使用系統相關的命令檢查操作系統的運行狀況是否正常，然後進行關機；如果實在關不了可以使用poweroff，不過這樣可能會造成部分文件丟失。
d）. 在關閉操作系統之後還需要關閉UPS。操作之前要掌握UPS的情況，力求要做到每一條線纜都心中有數，所有的配置，每個接口都要一清二楚，電池,線纜都要貼標籤。在給設備做標籤時，一般是採用貼設備銘牌的方式，線纜採用專用的標識環。
UPS電源重啓正確操作
正確關閉UPS電源的順序：
——先將連接到UPS電源輸出端的負載逐一關閉掉，之後再將電源控制櫃上的電源開關關閉掉就可以了。
打開UPS電源的正確順序：
——搬遷的過程中注意不要接觸磁性物質，正確的開關的步驟一般情況下，打開UPS電源的正確順序應該是：先檢查UPS電源的輸入端電源極性與市電供電線路的電源極性連接是否一致，然後再檢查 UPS電源輸出端所接負載的總功率大小是否在UPS電源的額定功率之內；滿足了上面的條件後，打開 UPS電源控制櫃上的電源開關，來讓市電爲UPS內的電池組進行供電，過一段時間，再將負載的電源開關逐一打開，如此一來可以確保負載電流，不會對 UPS電源的內部供電線路造成過度衝擊，從而可以有效保證UPS電源不受內傷。在機器加電啓動之後，重新關機掉電。把機器後面的電源模塊關掉；把機器電源所在機櫃上的電源做好標記，還要檢查好是不是徹底沒電了，這樣工作起來才安全。
e）. 拆機櫃：機櫃都非常重，所以在這種情況下能拆的儘量拆掉兩側的鐵板,把門卸掉。通過電梯運到一樓，把機器搬到樓下之後，找一臺插車把設備叉到運輸車上。
f）. 拆交換機：首先關閉電源，然後把跳線收好，再拆除GBIC模塊。收好插線板。
g）. 服務器的運輸過程，運輸的過程中，最主要的是防止服務器與其他設備等東西碰撞
h). 分系統順序搬遷到新機房，按事先確定的位置進行初步放置，待最終調試結束後固化安置
i). 先將10KVA UPS及5KVA UPS主機及電池組搬遷至新機房並安裝調試。調通新機房所有電氣工作環境，爲搬遷及前期設備調試提供完整的電氣工作環境
j). 設備上架安裝(前提機櫃事先都弄好，OA，及時通，項目管理，代理先上線,其次是郵件、防毒，電子檔案等服務器) 所有設備按照原先記錄的位置將網絡及安全設備上架並連接，交換機和路由器上電開機，檢測其設置及連接是否正常，保證網絡正常運行，防火牆等網絡安全設備上電開機，檢查其參數及規則設定，檢測搬遷過程有沒有損壞設備硬件，以及原有設備規則設定是否保存良好。
服務器的搬入，在服務器搬入到新的機房後，首先確定好服務器的放置機架，檢查電源等相關事項是否做好，最後，服務器上架進行物理連接。
——當把服務器放上機架並做好物理連接後，要做的事情便是打開服務器，查看數據是否出現了損壞，並進行相關的軟件的設置。要進行的工作大致包括如下的幾項：
1）. 新機房放置服務器時需要注意：當我們把服務器放上機架並做好物理連接後，我們要做的事情便是打開服務器，查看數據是否出現了損壞，並進行相關的軟件的設置。一般來說，要進行的工作大致包括如下的幾項：
1.服務器狀態的恢復，查看是否出現了數據的丟失或損壞。如果是出現了這種數據的損壞等，不要怕！我們應該把搬遷前的數據重新恢復過來。
2.進行相應的IP地址的調整。
3.進行相關DNS設置的調整。
4．進行相關VLAN設置的調整
5.進行相關軟件的調整。
6.進行全網服務器的測試。
7.所有的服務器重新啓動，看服務器運行的速度和質量等指標是否達到標準。
8.驗收並進行相關的日誌紀錄。
服務器狀態的恢復，查看是否出現了數據的丟失或損壞。如果是出現了這種數據的損壞等，不要怕！我們應該把搬遷前的數據重新恢復過來。
2.）進行相應的IP地址的調整。
3.）進行相關DNS設置的調整。
4）.進行相關軟件的調整。
5）.進行全網服務器的測試。
6）.所有的服務器重新啓動，看服務器運行的速度和質量等指標是否達到標準。
7）.驗收並進行相關的日誌紀錄。
10. 數據檢查及應急恢復
如有丟失則從實現備份的活動硬盤中備份數據恢復
注意事項:
1. 設備清洗：打開機殼清潔服務器內表面的積塵對於服務器內表面上的大面積積塵，可用乾布噴上專業的清洗液擦拭。布應儘量幹，擦拭完畢應該用晾乾。各種插頭插座、擴充插槽、內存插槽及板卡一般不要用水擦拭。也可以用刷子刷或吹掉灰塵。
2.安排獨立的車輛對服務器進行良好的保護，並限制車速，避免顛簸;準備紙箱子,鋪在運輸車的底上,一是增加摩擦,二是防止把機器刮壞了.準備多個大的木箱子底座,因爲有的機器(如機房電池)非常重,需要用叉車才能裝少運輸車上,不建議用插車直接叉在設備上,所以要找一個底座,一般在設備到貨的時候拆下來的那個就非常好用.
3. 搬遷過程前期要與設備質保方商談設備搬遷過程的質保情況。
4. 搬遷涉及的費用：設備搬遷勞務費，設備搬遷技術服務費
現有系統拓樸圖：
——現有網絡拓撲非常關鍵，我們覈對了原先保留了拓撲，並現場重新繪製新的拓撲，由於保密需要這裏提示拓撲示例
四、經驗和體會
——對於此次機房的大規模異地搬遷進行了一次嘗試，在機房建設和管理方面也進行了積極探索。通過此次搬遷我們感覺到機房的搬遷過程中有以下幾個關鍵點。
(1)搬遷技術方案必須周密細緻、切實可行。其中重點是如何將生產服務器的搬遷與網絡遷移方案有機結合。網絡的遷移是最基礎的工作，只有在網絡暢通的前提下才能考慮服務器的搬遷。同時，網絡遷移又勢必造成維護重心的轉移，最關鍵的應用必須隨着網絡的遷移而同步遷移。因此線路割接、交換機調整等網絡遷移操作絕對不能與生產服務器的遷移分開而單獨實施。基於上述考慮，我們最終確定了最關鍵的服務器、存儲、網關隨着線路割接而同步遷移，同時主要搬遷過程控制在1-2周以內，儘可能降低主要業務等其他關鍵應用因網絡遷移而帶來的風險。
(2)要提前預測搬遷風險。通過前幾次對測試機房的測試性搬遷，我們總結出對於大型機房的搬遷主要存在四方面的風險，包括：設備故障風險，即設備在搬遷過程中所出現的損壞；操作風險，即線路割接、上聯路由器切換、集中存儲系統遷移、關鍵應用數據遷移（包括數據備份與恢復）、大型設備搬遷等均屬於高風險操作，這些環節雖經反覆論證在理論上可實施，但操作複雜且無法進行演練，在搬遷過程中很可能由於操作問題帶來安全隱患；人員風險，即在搬遷過程中現有技術人員既要負責搬遷工作，又要負責日常生產運行的維護管理，搬遷人員少或精力不夠也容易產生風險；其餘不可預知風險，如系統的意外癱瘓、運營商線路問題等。在預知這些風險以後才能提前做好預防工作。
注意：
1）．硬盤最好單獨包裝,IBM server 需要用木製包裝箱。交換機多臺用硬紙箱包裝
2）．事先在網絡交換路由設備關機之前別分好現有配置，和以前備份的配置文件收集好，然後最好聯繫事先HP，IBM，APC，Cisco工程師的網上或手機等聯繫方式以備急用。
(3)充分調動一切資源。
——機房搬遷是一項極爲複雜的工作，不僅涉及行內衆多的技術人員，還涉及相關業務部門、服務商、搬運公司等各個方面的人員及各種搬遷所用的器材，其中任何一項都與搬遷進度緊密相關。我們除了與各業務部門密切分工協作外（科技部和業務部門負責分發公告、測試驗證），還提前召集所有相關的服務商進行了方案論證，並要求各服務廠商最大限度地準備技術支持人員和相關配件。另外，在充分總結前幾次試驗性搬遷的基礎上，我們在裝箱、搬運、裝機等比較耗時的環節上增加了人力、工具、通信、車輛配備，極大提高了搬遷效率。
(4)採用流程化搬遷方式。
——搬遷前，機房管理員專門繪製圖紙，詳細對比搬遷前後的情況；提前規劃各個機櫃、各個網絡設備的擺放位置，還要事先量好機器的具體尺寸，對所有設備進行編號，並填入登記表中之後到現場規劃機器的具體擺放位置，力爭最合理、最充分地利用機房的有效空間。搬遷工作大致分爲關機、拆卸、裝箱、運輸、裝機、連線、驗證等幾個環節，由於每次搬遷都有嚴格的時間要求，而且涉及人員較多，所以搬遷要有條不紊、高效有序。爲此，對新舊機房的不同特點，設立了兩個搬遷總調度，分別負責兩個機房的搬遷協調工作，並根據搬遷過程中不同階段的工作設立了關機拆卸組、裝箱組、運輸組、裝機組、驗證調試組、技術支持組、後備應急組等七個小組，在明確了各組職責的同時實行組長負責制，由組長定期向總調度彙報各組情況。制定了搬遷例會制度，在每次搬遷結束後及時對上一批的搬遷進行總結，並對下一批的搬遷工作進行確定。在搬遷之前，對所有設備信息進行了詳細的統計，在此基礎上形成了每次搬遷的搬遷調度表和搬遷流程表，交由各組掌握。在搬遷過程中要求各組必須按照這兩份表格進行，每完成一個環節，該組組長都必須要在搬遷調度表上確認後，下一環節才能繼續進行。按照這樣的流程執行之後，我們每次搬遷都沒有出現因各環節的銜接問題而耽誤進度的情況，更沒有出現誤操作的現象。
注意，這裏強調一下作爲專業人員需要了解設備尺寸和重量，下面舉例來說
1.APC電源 Smart-UPS RT 10000
最大高度尺寸 26.3 cm
最大寬度尺寸 43.2 cm
最大深度尺寸 66.3 cm
重量： 90KG
2.APC Smart-Ups 5000
尺寸(H*W*D,mm) 8.5*43.2*48.2cm
標準機櫃高度(U) 2
淨重/運輸重量(KG) 23/27.8
外形尺寸: 30×42.7×4.4cm
CISCO 3560
尺寸和重量（高×寬×厚）: 1.75 x 16.3 x 17.5 英寸 (4.45 x 41.3 x 44.5 cm) (Catalyst 3550-48) ,一個機架單元（RU）高 ,13 lb (5.9 kg) (Catalyst 3550-48)
重量 (最小4.66 kg)
設備裝箱實例
檯盤櫃服務器選用木板包裝箱,UPS，核心交換機都需要木箱包裝，其餘用紙箱包裝
——當然機房這設備不止這些，對於不同重量的設備所採用的包裝也不同，一般的設備用厚紙箱，而20KG以上的設備就要訂木箱，尤其是磁盤整列就需特別防護，單獨拆卸分開運輸。
硬盤保準技巧：
硬盤先套屏蔽袋平口袋,然後每塊間隔用氣泡卷料，如下圖所示
(5)做好系統的充分驗證。
——根據每一批搬遷的特點我們提前與相關的業務部門溝通，由業務部門負責根據在變更時間內對業務的影響程度及時向外發佈公告，同時，在系統恢復後進行系統驗證。
——“凡事預則立，不預則廢”，的確是這樣的。對於一個公司的網絡機房而言，搬遷工作涉及到服務器、交換機、路由器、工作站等大量的設備，當然還有不少軟件的問題。這樣多的問題需要我們去解決，正因爲我們在這次搬遷過程中做了大量而充分的準備工作,所以在整個搬遷過程中未發生一起在變更時間外影響生產的問題，最大限度地保證了生產的穩定運行。通過這次機房搬遷的實戰演習，不僅鍛鍊了技術隊伍，也在大型機房的建設和管理方面積累了一定的經驗，併爲今後單位信息系統的安全平穩運行打下了堅實的基礎。
附件：
1.搬遷清單
1、IBM S2 25U Standard Rack and IBM S2 42U Standard and Expansion Racks
Installation Guide 服務器機櫃使用說明 1份
2、IBM Distributed Power Interconnect Rack Power Distribution Unit
Installation and Maintenance Guide 服務器電源使用說明 1份
Statement of Limited Warranty Customer Notice 1 份
3、3650；3950服務器說明書 3 份
4、黃色的資料袋 2 份
5、光盤
... ...
2.設備情況表
列出每個機櫃的設備詳細清單
1 | Hp proliant dl 380 G6 735W/單電 | 300G * 4 | |
2 | Hp proliant dl 380 G6 735W/單電 | 300G * 4 | |
3 | ... ... | ||
3.各類網線、電線、跳線對應表（此處略）
4.設備包裝標識（更多參照國標代碼：GB191-2000），這些標識需要粘貼到設備包裝箱上。
易碎品
怕雨
禁止翻滾
禁止堆碼
防火