故障處理及故障記錄
接收報障:
需要故障發生時的雙向MTR截圖和ping數據,此動作可與直接報給供應商同步進行,並及時記錄故障發生時的時間,然後仔細查看mtr的路徑和丟包情況,判斷分析是哪個地市出現的問題,並督促IDC及時聯繫運營商介入處理。如遇到重大,波及面廣的故障及時報障給孫嘉。
報障處理:
遇到故障及時登陸交換機,檢測平臺內部網絡情況,查看相應服務器對應的設備接口情況,諸如:光模塊收發光情況,端口error情況,光纖鏈路問題,查看syslog,查看交換機性能情況(CPU、內存、溫度、電源、健康檢查)。相應traceroute判斷問題節點,作爲憑證再次報給IDC,加快定位故障和處理速度。
故障完成:
大多數故障需要當即處理完成,記錄處理恢復時間,及詳細的故障處理過程(儲備故障處理經驗),如果爲IDC問題,需要IDC的蓋章函件作爲故障報告的憑證發郵件到netgroup,如果爲ISP問題,則需要ISP蓋章加IDC蓋章的函件發至郵箱。函件中的時間和我們記錄的時間需要溝通協調一致。
記錄:網路部彙總表.xlsx 彙總記錄故障處理情況
機房設備統計
凡是在IDC機房的所有設備及硬件(交換機、服務器、光纖、模塊),均爲我們固定資產,要求IDC妥善保管,如果有壞件要打上相應問題的標籤(模塊無發光,丟包,error包,光弱等問題的描述),要求機房不得擅自丟失和遺棄任何硬件。
記錄:網路部彙總表.xlsx 彙總記錄硬件信息
機房設備上架下架
新增選點機房,和採購部確認發貨數量,確認硬件包括:交換機、服務器數量及類型、光纖、模塊。並且同時督促儘快辦理相應實施工單,包括但不限於施工工單,設備上架工單,設備加電工單,接收設備收貨人等信息,儘可能避免設備延期上架使用。上架後開機進行一系列測試方可交給業務部門。
機房設備下架需要對比發貨數量,覈對後通知IDC人員進行下架操作,下架後對相應設備進行包裝避免運輸中對設備有損壞的危險,發貨地址和採購部進行確認,並且得到快遞單號後及時反饋給採購部。
機房對設備操作後需要填寫回執單,我們覈對無誤後留存。
記錄:網路部彙總表.xlsx 彙總記錄ip資源信息
設備驗收檢查
按照業務的要求,檢查設備是否可以正常使用,硬件是否滿足額度要求,需對服務器進行相應排查:
服務器硬件檢驗的同時,檢查所有設備的配置情況,包括ip、掩碼、端口描述、設備命名等,測試網絡環境,諸如ping、traceroute到公網ip、三線資源是否有問題。無問題後方可使用。
網絡巡檢
利用監控系統,查看每日流量使用情況,24小時爲一週期(9:00),結合syslog查看每日的故障報告,和端口狀態等信息。
利用zabbix微信故障提醒功能,可實時監控平臺主機情況,問題發現後及時處理解決。
週期性觀察流量增長(下降)情況,預先獲得趨勢信息,可在必要時採取行動。
流量統計可以更直觀也會更可觀的說明問題,瞭解平臺每日out峯值可得知高峯時段用戶使用情況,也可根據95計費原則對平臺流量進行重規劃,分攤流量。
機房信息 | 端口數量 | 保底帶寬M | In最大9.13 | In平均值9.13 | Out最大9.13 | Out平均值9.13 | In環比增長 | Out環比增長 | 使用率9.13 |
黑龍江哈爾濱聯通 | 10G | 1000 | 14.4 | 5.77 | 8.6 | 0.35 | 1.41% | -0.58% | 0.860% |
遼寧盤錦聯通 | 10G | 1000 | 34 | 9.16 | 26.6 | 1.15 | 136.11% | 315.63% | 2.660% |
廣東中山聯通 | 10G | 1000 | 694 | 7.11 | 42.2 | 0.9 | 5238.46% | 435.53% | 4.220% |
河南周口聯通 | 10G | 1000 | 208 | 82 | 236 | 101 | -8.33% | -4.76% | 23.600% |
河南商丘聯通 | 10G | 1000 | 38.4 | 6.7 | 31.6 | 1.35 | 74.55% | 97.50% | 3.160% |
湖南長沙聯通 | 10G | 1000 | 30.5 | 4.46 | 34.4 | 1.6 | 30.90% | 93.26% | 3.440% |
福建福州聯通 | 10G | 1000 | 18.31 | 3.29 | 12.11 | 0.43 | 6.83% | 41.80% | 1.211% |
重慶聯通 | 10G | 3000 | |||||||
陝西寶雞聯通 | 10G | 3000 | |||||||
河北廊坊聯通 | 10G | 1000 | 35.79 | 8 | 31 | 2.73 | -1.24% | 9.08% | 3.100% |
天津聯通 | 10G | 1000 | 34.65 | 12.6 | 23.43 | 1.81 | -94.58% | -22.16% | 2.343% |
山西朔州聯通 | 10G*2 | 2000 | 15.49 | 3 | 15.7 | 0.42 | 23.92% | 65.26% | 0.785% |
山東泰安聯通 | 10G | 1000 | 202.5 | 83.44 | 771 | 100 | -14.34% | -29.91% | 77.100% |
山東青島聯通 | 10G | 1000 | 26.7 | 6.48 | 22.52 | 1.1 | -4.64% | 1.08% | 2.252% |
吉林聯通 | 10G | 1000 | 3.8 | 1.64 | 0.188 | 0.1 | -70.08% | -98.47% | 0.019% |
浙江台州聯通 | 10G | 1000 | 37 | 4.96 | 33.8 | 2.7 | 2.95% | -0.59% | 3.380% |
湖南嶽陽電信 | 10G | 1000 | |||||||
浙江麗水電信 | 10G | 1000 | 27.43 | 14.64 | 22.8 | 1.2 | -52.27% | -51.59% | 2.280% |
浙江湖州電信 | 10G | 3000 | 86.04 | 43.33 | 98.9 | 55.18 | 3.297% | ||
福建福州電信 | 10G | 1000 | 95 | 29.5 | 79.3 | 9 | 7.930% | ||
廣東佛山電信 | 10G | 3000 | 70 | 35.15 | 83.4 | 47.9 | -41.67% | -47.22% | 2.780% |
四川樂山電信 | 10G | 1000 | 35 | 30.4 | 84.6 | 42.7 | -47.62% | -89.61% | 8.460% |
陝西寶雞電信 | 10G | 1000 | 19 | 7.11 | 11 | 0.26 | -88.62% | 2240.43% | 1.100% |
江蘇鹽城電信 | 10G | 3000 | 973 | 345 | 972 | 345 | -0.10% | -3.76% | 32.400% |
雲南昆明電信 | 10G | 1000 | 14 | 7 | 156 | 1.2 | 27.27% | 3527.91% | 15.600% |
陝西咸陽電信 | 10G | 1000 | 72 | 8 | 13 | 0.86 | -87.82% | -53.57% | 1.300% |
廣東中山電信 | 10G | 1000 | 45 | 32 | 16 | 2 | 800.00% | 220.00% | 1.600% |
湖北鄂州電信 | 10G | 2000 | 2070 | 612 | 3140 | 967 | 30.19% | 18.49% | 157.000% |
山東濟南三線 | 10G | 1000 | 1060 | 243 | 1150 | 284 | 3.92% | 6.48% | 115.000% |
山東濟南電信 | 10G | 1000 | 10 | 7 | 4 | 0.5 | -23.08% | -60.00% | 0.400% |
河南洛陽電信 | 10G | 1000 | 88 | 16 | 79 | 3.6 | -23.48% | -34.17% | 7.900% |
重慶電信 | 10G | 1000 | 21 | 15 | 7.5 | 0.1 | 23.53% | -25.00% | 0.750% |
太原移動 | 10G | 2000 | 7 | 0.3 | 250 | 2 | 16.67% | 1150.00% | 12.500% |
武漢長寬 | 10G | 5 | 0.08 | 4 | 0.08 | -61.54% | -69.23% | ||
上海長寬 | 10G | 12 | 0.13 | 26 | 0.15 | -33.33% | 36.84% | ||
南昌移動 | 10G | 2000 | 26 | 2.5 | 31 | 3 | 30.00% | 93.75% | 1.550% |
揚州電信IDC | 10G | 1000 | 110 | 29 | 97 | 16.8 | -15.38% | -33.56% | 9.700% |
天津電信 | 10G | 1000 | 27 | 8.5 | 165 | 1.85 | -96.08% | 292.86% | 16.500% |
石景山BGP機房 | 20M | 20 | 1 | 0.05 | 0.25 | 0.03 | 1566.67% | -39.02% | 1.250% |
廣東佛山三線 | 1000 | 1070 | 487 | 1210 | 610 | 7.75% | 9.01% | 121.000% | |
北京長寬 | 10G | 0.8 | 0.1 | 18 | 0.3 | 566.67% | 0.00% | ||
武漢聯通 | 10G | 1000 | 347 | 114 | 446 | 136 | -11.03% | 4.69% | 44.600% |
淮南移動 | 10G | ||||||||
機房總帶寬使用 | 7684.81 | 2325.4 | 9453.898 | 2746.35 | -7.82% | 1.68% |
統計每日流量使用率,可以得知平臺流量上升(下降)情況,根據此數據適當調整IDC保底帶寬值,主要作爲預警功能使用。
機房名稱 | 使用率9.8 | 使用率9.9 | 使用率9.10 | 使用率9.11 | 使用率9.12 | 使用率9.13 |
黑龍江哈爾濱聯通 | 0.66% | 2.76% | 0.40% | 1.30% | 0.87% | 0.86% |
遼寧盤錦聯通 | 1.67% | 1.56% | 1.96% | 14.30% | 0.64% | 2.66% |
廣東中山聯通 | 1.68% | 1.60% | 2.16% | 0.79% | 0.79% | 4.22% |
河南周口聯通 | 11.50% | 67.50% | 0.13% | 29.00% | 24.78% | 23.60% |
河南商丘聯通 | 2.20% | 5.50% | 2.10% | 3.60% | 1.60% | 3.16% |
湖南長沙聯通 | 45.50% | 37.40% | 24.09% | 1.60% | 1.78% | 3.44% |
福建福州聯通 | 1.25% | 1.35% | 1.10% | 0.68% | 0.85% | 1.21% |
重慶聯通 | 0.00% | 0.00% | 0.00% | |||
陝西寶雞聯通 | 0.00% | 0.00% | 0.00% | |||
河北廊坊聯通 | 2.50% | 1.91% | 2.64% | 2.60% | 2.84% | 3.10% |
天津聯通 | 15.50% | 12.85% | 3.97% | 3.30% | 3.01% | 2.34% |
山西朔州聯通 | 0.28% | 0.69% | 0.90% | 1.20% | 0.95% | 0.79% |
山東泰安聯通 | 12.10% | 10.65% | 95.82% | 10.60% | 110.00% | 77.10% |
山東青島聯通 | 3.80% | 3.00% | 5.67% | 2.90% | 2.23% | 2.25% |
吉林聯通 | 0.78% | 0.43% | 1.77% | 0.58% | 1.23% | 0.02% |
浙江台州聯通 | 7.60% | 3.04% | 2.87% | 3.60% | 3.40% | 3.38% |
湖南嶽陽電信 | 0.00% | 0.00% | 0.00% | 0.00% | ||
浙江麗水電信 | 12.16% | 2.30% | 4.16% | 4.80% | 4.71% | 2.28% |
浙江湖州電信 | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 3.30% |
福建福州電信 | 0.00% | 0.00% | 0.00% | 0.00% | 0.00% | 7.93% |
廣東佛山電信 | 4.03% | 3.50% | 11.86% | 10.67% | 5.27% | 2.78% |
四川樂山電信 | 7.87% | 1.50% | 6.55% | 2.48% | 81.44% | 8.46% |
陝西寶雞電信 | 0.00% | 0.00% | 0.00% | 5.40% | 0.05% | 1.10% |
江蘇鹽城電信 | 82.60% | 75.30% | 90.20% | 94.80% | 33.67% | 32.40% |
雲南昆明電信 | 1.20% | 1.05% | 1.21% | 0.70% | 0.43% | 15.60% |
陝西咸陽電信 | 0.00% | 0.00% | 0.00% | 0.00% | 2.80% | 1.30% |
廣東中山電信 | 76.50% | 65.20% | 2.16% | 77.40% | 0.50% | 1.60% |
湖北鄂州電信 | 0.00% | 0.00% | 0.00% | 0.00% | 265.00% | 157.00% |
山東濟南三線 | 56.00% | 110.00% | 99.63% | 0.00% | 108.00% | 115.00% |
山東濟南電信 | 1.20% | 1.30% | 1.03% | 1.50% | 1.00% | 0.40% |
河南洛陽電信 | 36.20% | 11.40% | 6.62% | 11.20% | 12.00% | 7.90% |
重慶電信 | 1.60% | 1.00% | 1.02% | 0.40% | 1.00% | 0.75% |
太原移動 | 0.00% | 0.00% | 0.00% | 8.65% | 1.00% | 12.50% |
武漢長寬 | 0.00% | |||||
上海長寬 | 0.00% | |||||
南昌移動 | 0.00% | 0.00% | 0.00% | 0.90% | 0.80% | 1.55% |
揚州電信IDC | 10.00% | 8.50% | 12.78% | 80.80% | 14.60% | 9.70% |
天津電信 | 1.94% | 2.70% | 2.78% | 2.20% | 4.20% | 16.50% |
石景山BGP機房 | 2.75% | 2.30% | 0.22% | 2.00% | 2.05% | 1.25% |
廣東佛山三線 | 254.00% | 151.00% | 100.10% | 114.00% | 111.00% | 121.00% |
北京長寬 | 0.00% | 0.00% | 0.00% | 0.00% | ||
武漢聯通 | 0.00% | 0.03% | 38.37% | 47.10% | 42.60% | 44.60% |
淮南移動 | 0.00% |