雲原生系統相關的數據採集:
一文帶你讀懂CNCF Landscape中的Prometheus監控,fluentd日誌採集,展示Grafana
基於時間序列的異常檢測算法小結<數據挖掘導論一書>
數據挖掘中常見的「異常檢測」算法有哪些? by知乎+工具包+源代碼+論文
Forecasting: Principles and Practice
關於數據的異常檢測,看這一篇就夠了by攜程(數據異常檢測方法以及實際應用)
多接口關聯的場景異常檢測,需要用到馬爾可夫鏈的後概率原理.by UEBA專家
異常檢測(anomaly/ outlier detection)領域還有那些值得研究的問題?
單純形法(Nelder-Mead) 含代碼(Nelder-Mead:單純形法秉承保證每一次迭代比前一次更優的基本思想,先找出一個基本可行解,看是否是最優解)
圖來自https://processon.com/diagraming/5ddbdaade4b052b7c5906c32
騰訊技術路線演進:
雲平臺:
阿里雲sls https://yq.aliyun.com/articles/670718 https://help.aliyun.com/document_detail/93210.html?spm=a2c4g.11186623.6.851.776c565er7YYhr
騰訊織雲
工程:
spark mlib/flinkMl/tensorflow 封裝了算法,開箱即用. 智能化需要自己摸索出合適的模型.
實戰:
聚類-異常檢測 (內含 基於K_means聚類的網絡流量異常檢測 等介紹,spark高級數據分析---網絡流量異常檢測(升級實戰) 含代碼
5-Spark高級數據分析-第五章 基於K均值聚類的網絡流量異常檢測
KMeans算法檢測網絡異常入侵, )
異常點檢測算法(三)之RNN
外賣訂單量預測異常報警模型實踐 (本質上是時間序列下的業務監控,利用了同比和環比相關性進行預測,能夠避免天氣原因帶來的誤報. 短時內還是會誤報,要把天氣預報參數對接進來. 結論: 我們可以將Holt-Winters算法拆分爲兩個獨立的計算過程: 1. 定時任務計算序列的週期數s(t)。 2. 對殘差序列做實時預測。美團-東傑 Forecasting: Principles and Practice)
基於Prophet的時間序列預測BY騰訊 騰訊織雲Metis: 例如時間序列異常檢測、DLP 生死指標監控、多維下鑽、關聯分析、ROOT 根源分析等場景都是Metis在質量保障方面的典型應用
異常檢測技術揪出“刷手” 360聯合中科院教授打造反刷單利器(本質上就是多維指標的分析,聚類等)
針對目前存在的問題,劉盛華博士團隊提出了一種基於行爲關係的檢測方法,因爲任何欺詐都需要行爲的發生,所以根據行爲的特點進行檢測,便可以讓欺詐者原形畢露。劉博士進一步介紹稱,這一方法的基本思路是基於“大圖挖掘”的異常檢測,這張大圖就是每個普通用戶(包括隱蔽其中的刷手)在店鋪裏的訪問、購買、評論等行爲。
定位:
複雜運維場景下,如何實現分鐘級的故障根因定位 by 靈犀技術總監,原百度系統部高級項目經理
異常日誌聚類分析和web大盤
異常日誌把堆棧類和行號+入口類+方法打印出來. 這樣更能就可以結構化聚類了. [$X{TRACE_RPC_METHOD}] [%c{0}_%method_%line] logBack
學術界研究: