聽風辨器,神功護體——IT運維人員的九陽神功(中)

今天恰逢2020年下半年第一天。2020太難了,上半年忙着見證歷史,人人都不易。希望大家保持樂觀,下半年一切都會好起來!

言歸正傳,繼續說運維。修煉至此,大家都已具備九陽神功前三重的功力,浪跡IT江湖三十年的融哥帶大家繼續乘風破浪、精益求精。

頁面打不開、系統卡頓、應用宕機……每天IT運維人員被各種飛來橫禍困擾,如六大派狠人圍攻光明頂。要想搞定業務運行過程中的種種問題,你必須變成一個小號的魔教教主,打通任督二脈、調動全身功力,方能轉危爲安,世界和平。

九陽神功第四重:縮骨大法

他心中只一個念頭:“這小子比我高大,他能鑽過,我當然更能鑽過。”想法原本不錯,只是有一點卻沒料到:張無忌已練成了九陽神功中的縮骨之法。——《倚天屠龍記》

縮骨大法者,化大爲小,小中見大,見微知著也。

魔鬼往往在細節中。對於業務系統的監控,基本的監控粒度有多大,決定了故障定位的精度。上一期融哥曾經給大家講過監控系統的數據來源,以旁路鏡像數據流爲最佳選擇,數據流中全部業務系統之間的數據流糾纏在一起,剪不斷理還亂,必須化大爲小,從大的數據流中拆分一個個小的邏輯對象,才能鎖定真正的問題。

舉個例子,上面是一個的典型銀行應用。

粗看起來,每分鐘2000筆的交易量,平均響應時間100ms,成功率90%,響應率90%,看起來還不錯。大部分業務監控系統,只能做到這一步了。

但如果我們細看不同的渠道發出的請求,就會發現,應用細分爲網銀、櫃面、第三方支付和理財平臺四個部分,其中前三個是正常的,但理財平臺的成功率和響應率都只有10%,已經是嚴重故障了。

因爲理財平臺的這200筆交易,只佔了總交易量的10%,問題被其他交易掩蓋了。如果這些細微的隱患不及時發現,以後會逐漸演變爲更大範圍、更嚴重的問題。

這就是細化監控對象、化大爲小、見微知著的價值所在。作爲一個運維人員,必須練就一雙慧眼,有一套神器,方能及時杜絕小隱患引發的大麻煩。

運維人員使用的軟件工具,必須具備細分監控對象的能力。華青融天的EZSonar系統(鷹眼),一個重要特點就是微監控,在數十家金融機構得到廣泛應用。

九陽神功第五重:龜息大法

這乾坤一氣袋密不通風,他在袋中耽了這許多時候,早已氣悶之極,仗着內功深湛,以綿綿龜息之法呼吸,需氣極少,這才支持了下來。——《倚天屠龍記》

融哥聽說有氣長命長之說,龜一次呼吸45秒一般壽命500年,人一次呼吸5秒一般壽命80年。要是看見一個人大口喘氣,上氣不接下氣,估計離掛掉不遠了。

所謂龜息大法,就是內功高手對生命節奏的掌控。從容淡定,方能應付裕如、行穩致遠也。

作爲一個IT系統的運維人員,最重要的就是不要讓自己被虛假的無意義的信息淹沒,忙的四腳朝天,反而忽視了重要的問題。我們經常看到,大量軟硬件平臺和應用系統不斷髮出告警信息,快速刷屏,在這種情況下,如何對告警進行高效的精準處理,分級、壓縮和降噪,去僞存真,及時識別真正的故障和隱患,就是最重大的課題了。

第一是減少誤告警。比如,某一時刻交易量突然降低,但只是暫時性波動,很快又恢復正常,這種異常是沒必要告警的。有些批處理也可能導致某一刻交易量突發,這種也屬正常情況,往往也不需要告警。

第二是準確把握業務的正常規律,精準地對異常業務流發出告警。這張圖顯示了對交易量的監控,利用大數據和機器學習技術,根據歷史數據產生動態基線,以基線來反映正常交易量的規律,如果真實的交易量與基線的差異過大,則說明發生了異動,此時才觸發告警,避免誤告警的發生。

第三是提升每一個告警的有效性,減少告警數量和頻次,通過告警關聯功能找出事件之間的聯繫,去除告警雜音,讓告警更加精準有效。

凡此種種,在告警的處理上要尋找一種平衡,通過智能的算法,反映實際業務的規律和異常事件間的關係,不漏報不誤報,讓運維人員應對從容。這就是華青融天EZSonar強調的“輕告警”。

九陽神功第六重:壁虎遊牆

趙敏笑道:“張公子,你的壁虎遊牆功當真了得,這陷阱是純鋼所鑄,打磨得滑不留手,連細縫也沒一條,你居然遊得上去!”——《倚天屠龍記》

一說到牆,幹運維的同學們就樂了。我們習慣什麼都上牆,有什麼話咱對着牆說。融哥在運營商工作十多年,參觀運營商總部的保留項目就是去看運維中心的大牆,幾十塊大屏,全部專業網絡運作情況一目瞭然,盡收眼底,極具視覺衝擊力。

如今的牆更是今非昔比,不僅可視化效果美輪美奐,實時性也可以達到秒級,網絡、服務器和應用的問題,第一時間上牆。數字和紅綠點線遊動跳躍,如同壁虎遊牆。


不用多解釋,可視化做的好,各種實時數據集中直觀地顯示,是大屏的最大優點,領導喜歡我也喜歡。一般都是從大屏發現了問題,才一步步向下鑽取,挖掘到問題的根源,所以一塊豐富而直觀的大屏、實時性的數據展現、隨心所欲的視圖定製、方便快捷的鑽取功能,是每個運維人員的夢想,也是衡量一個監控系統好壞的關鍵。

行文至此,九重神功說到了三分之二,後事如何,且聽融哥下回分解。

喜歡我就關注、留言、點贊、轉發!

                   華青融天主力產品線


華青融天自2007年成立,一直致力於IT智慧運營的產品研發和技術服務,以AI驅動IT智慧運營,發展出一個平臺、三個業務線產品:業務運維EZSonar、安全運營EZAccur、業務洞察和行爲分析EZUBA,全力爲用戶打造一個高粘度的實時大數據平臺。

目前,公司擁有數十項發明專利、技術資質、軟件著作權以及多項自主知識產權產品,並與清華、北大、北航等院校開展產學研合作,共建“人工智能綜合實驗室”“大數據與智能安全管理聯合實驗室”。

擁有包括招商銀行、中信銀行、國開行、平安集團等在內的衆多客戶,行業遍及金融、保險、稅務、醫療、航空、軍工等十多個領域。

歡迎致電垂詢:400 065 3062

或給公衆號發私信

或發郵件至 [email protected]

索取公司和產品資料

說明:文中電影劇照

來自93版《倚天屠龍記之魔教教主》

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章