每週一上午業務運行緩慢?可以參考這裏......

近期某物流公司IT部門總是受到業務部門投訴,每週一上午LMIS業務系統運行緩慢,IT部門經過幾個小時排查,未發現具體故障,系統又自動恢復正常,但每週同時間段都會出現同樣故障,並且收到投訴。在技術專家的推薦下,IT部門選擇了一款管理網絡應用性能的系統--明網網絡應用性能的管理系統(後簡稱明網),進行部署測試後,決定藉助此係統查找問題。

發現網絡延遲、擁塞
通過明網測試發現LMIS在週一上午的確產生網絡擁塞,進一步對LMIS應用的網絡延時進行分析。運維人員分析認爲一般延時增加與網絡擁塞有關,但是找不到具體的擁塞點在哪裏,根據以往經驗只能一個個進行排查,費時費力!
每週一上午業務運行緩慢?可以參考這裏......
對比數據流量
但經明網提供的流量數據進行對比分析,IT部門清楚的可以看到在這個時間段內,TCP8014應用的流量佔比很大,超過800Mb/s。
每週一上午業務運行緩慢?可以參考這裏......
挖掘TCP8014的服務器爲:172.20.1.155和172.20.1.156
每週一上午業務運行緩慢?可以參考這裏......
每週一上午業務運行緩慢?可以參考這裏......
對比歷史數據流量
爲獲得更爲精準的數據,運維工程師觀察TCP8014應用過去一個月的流量趨勢,發現在每週一上午都會產生一個突發高峯,與LMIS網絡時延增大的趨勢保持一致,確定問題所在!
每週一上午業務運行緩慢?可以參考這裏......
確定故障
IT部門根據明網提供的數據分析發現,TCP8014應用在每週一上午都會出現產生突發業務流量,流量超過800Mb/s,這是導致LMIS業務的網絡傳輸質量下降、影響該業務性能。的最終原因。

應對措施
結合明網網絡分析系統給出的數據進行分析,運維人員最終給領導提出的改進建議:

  1. 增加GRE隧道的帶寬,建議大於2Gb/s;
  2. 如果增加GRE帶寬不能夠實現的話,調整該業務服務器的位置。

如果不使用專業的工具對故障進行排查,靠以往的經驗去排查故障,不僅很難發現故障的真正原因,而且費時費力。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章