異常檢測-機器學習總結

 

雲原生系統相關的數據採集:

   一文帶你讀懂CNCF Landscape中的Prometheus監控,fluentd日誌採集,展示Grafana

原理:      

    基於時間序列的異常檢測算法小結<數據挖掘導論一書> 
    數據挖掘中常見的「異常檢測」算法有哪些? by知乎+工具包+源代碼+論文

    Forecasting: Principles and Practice

    關於數據的異常檢測,看這一篇就夠了by攜程(數據異常檢測方法以及實際應用)

   多接口關聯的場景異常檢測,需要用到馬爾可夫鏈的後概率原理.by UEBA專家

      異常檢測(anomaly/ outlier detection)領域還有那些值得研究的問題?

      單純形法(Nelder-Mead) 含代碼(Nelder-Mead:單純形法秉承保證每一次迭代比前一次更優的基本思想,先找出一個基本可行解,看是否是最優解)

圖來自https://processon.com/diagraming/5ddbdaade4b052b7c5906c32

騰訊技術路線演進: 

雲平臺:

  阿里雲sls  https://yq.aliyun.com/articles/670718 https://help.aliyun.com/document_detail/93210.html?spm=a2c4g.11186623.6.851.776c565er7YYhr

  騰訊織雲

技術實戰:    

四種檢測異常值的常用技術簡述基於KNIME 

 用PyOD工具庫進行「異常檢測」

     機器學習練習(八)—— 異常檢測與推薦

 

工程:

   spark mlib/flinkMl/tensorflow 封裝了算法,開箱即用. 智能化需要自己摸索出合適的模型.

實戰:

聚類-異常檢測 (內含 基於K_means聚類的網絡流量異常檢測 等介紹,spark高級數據分析---網絡流量異常檢測(升級實戰) 含代碼
5-Spark高級數據分析-第五章 基於K均值聚類的網絡流量異常檢測
KMeans算法檢測網絡異常入侵, )

 

異常點檢測算法(三)之RNN

 外賣訂單量預測異常報警模型實踐 (本質上是時間序列下的業務監控,利用了同比和環比相關性進行預測,能夠避免天氣原因帶來的誤報. 短時內還是會誤報,要把天氣預報參數對接進來. 結論: 我們可以將Holt-Winters算法拆分爲兩個獨立的計算過程: 1. 定時任務計算序列的週期數s(t)。 2. 對殘差序列做實時預測。美團-東傑 Forecasting: Principles and Practice)

    基於Prophet的時間序列預測BY騰訊  騰訊織雲Metis:    例如時間序列異常檢測、DLP 生死指標監控、多維下鑽、關聯分析、ROOT 根源分析等場景都是Metis在質量保障方面的典型應用 

    織雲Metis時間序列異常檢測全方位解析

異常檢測技術揪出“刷手” 360聯合中科院教授打造反刷單利器(本質上就是多維指標的分析,聚類等)

針對目前存在的問題,劉盛華博士團隊提出了一種基於行爲關係的檢測方法,因爲任何欺詐都需要行爲的發生,所以根據行爲的特點進行檢測,便可以讓欺詐者原形畢露。劉博士進一步介紹稱,這一方法的基本思路是基於“大圖挖掘”的異常檢測,這張大圖就是每個普通用戶(包括隱蔽其中的刷手)在店鋪裏的訪問、購買、評論等行爲。

時間序列分解和異常檢測方法應用案例

 

定位:

   複雜運維場景下,如何實現分鐘級的故障根因定位 by 靈犀技術總監,原百度系統部高級項目經理

   異常日誌聚類分析和web大盤

   異常日誌把堆棧類和行號+入口類+方法打印出來. 這樣更能就可以結構化聚類了. [$X{TRACE_RPC_METHOD}] [%c{0}_%method_%line] logBack

學術界研究:

     清華裴丹分享AIOps落地路線圖,看智能運維如何落地生根 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章