#【譯】Unleash the Power of AI on Your Data with Anomaly Detection
作者：Fabrizio Blanco
—>原文鏈接<—
What is Anomaly Detection System?
異常檢測是一種監控機制，其中系統密切關注業務的重要關鍵指標，並在出現偏離正常行爲時向用戶發出警報。傳統上，企業使用固定的閾值集來識別超過閾值的度量，以將其標記爲異常。然而，這種方法本質上是反應性的，這意味着當企業識別出閾值違規時，所造成的損害將會放大多倍。所需要的是一種持續監視數據流是否存在異常行爲的系統，並實時提醒用戶以便於及時採取行動。
異常檢測的用例很多，並且是vertical agnostic。像電信，零售，金融科技和製造業這樣的垂直行業有一些最有影響力的異常檢測的應用。
異常檢測算法能夠分析大量的歷史數據以建立“正常”範圍，並且當異常值被視爲偏離可容忍範圍時引發告警。
一個理想的異常檢測系統應該能夠執行以下任務：
- 識別信號類型並選擇合適的模型
- 預測閾值
- 異常識別和評分
- 通過關聯各種已識別的異常來找到根本原因
- 獲取用戶的反饋以檢查異常檢測的質量
- 使用新數據重新訓練模型
Read More: Privacy Law Discussions: Who’s Leading the Way?
Identification of signal type
第一項任務是確定正確的信號類型。例如，如果所選數據具有循環性或趨勢分量等。通常，深度學習模型在稀疏數據或少量數據上表現不佳，對於這些類型的信號，具有正確特徵工程的簡單ARIMA或XGBoost可能是一個更好的選擇。鑑於大量循環性良好的數據，深度學習模型的應用將是一個不錯的選擇。
Forecasting thresholds
在模型的每次重新訓練之後，它通常預測閾值限制，並且這些限制是基於從最近訓練的數據獲得的度量來計算的，例如平均值，中值，方差等。通過利用正態分佈類比，基於給定的置信度，將爲下一個要預測的實際點設置閾值。
Anomaly identification and scoring
每當特定度量超出指定閾值時，就會識別出異常。然而，重要的是量化異常的偏差幅度，以便優先考慮需要首先研究/解決哪個異常。在評分階段，根據偏離中位數的大小或基於偏離度量維持正常行爲的時間長度對每個異常進行評分。偏差越大，得分越高。
Finding root cause by correlating various identified anomalies
通常，通過查看silos中的每個指標很難確定根本原因。而將所有異常放在一起，則能夠全面瞭解情況。考慮一個電信運營商的一組塔的流量突然增加的例子。但是通過將它們放在地圖上，可以確定中心的塔樓由於技術問題而關閉，這導致所有相鄰塔樓的通信量增加。但是，這種增加可能是暫時的，運營商不需要通過增加基於此異常識別的基礎設施投資來採取任何permanent action。爲了拼接整個故事，需要將所有異常放在一起，並通過與多個數據源相關聯來理解上下文。
Feedback from users to check quality of anomaly detection
異常檢測系統通常圍繞緊密邊界設計，以快速突出偏差，但在此過程中，這些系統有時會引發許多錯誤警報。事實上，已知誤報是異常檢測領域的普遍問題之一。人們不能低估需要提供給最終用戶的靈活性，將數據點的狀態從異常改變爲正常。在收到此反饋後，需要對模型進行更新/重新培訓，以避免重複出現識別出的誤報。
Re-training of the model with new data
系統需要不斷重新訓練新數據，以適應新的趨勢。由於操作環境的變化，模式本身可能會發生變化，而不是異常的偏離行爲。但是，機制應該保持平衡。過於頻繁地更新模型需要過多的計算資源，較低的更新頻率導致模型與實際趨勢的偏差。
總體而言，由於可用數據的指數增長以及缺乏使用該數據的有影響的機制，近年來異常檢測的重要性日益增加。異常檢測系統更適合識別重大偏差，同時忽略數據海洋中不值得的噪音 - 使企業能夠在正確的時間獲得正確的警報和操作建議。