建模前數據去噪方法總結

數據在建模之前，有的時候會存在大量噪聲，這個時候就需要去噪算法對原始數據進行去噪處理。目前瞭解到的去噪方法有：3標準差去噪，分箱去噪，dbscan去噪，孤立森林等。
其中，3標準差去噪，對於正態分佈的數據具有較好的去噪性能，而對於數據屬於偏態分佈時，使用分箱去噪相對較好。dbscan是基於數據聚類的原理進行去噪的，對於不屬於類別之內的數據，視作離羣點，輸出結果爲一個打標的矩陣，其中標記爲-1的數據即爲視作是噪聲的點，相比前兩種方法，該方法複雜度相對較高。除此之外，孤立森林方法，複雜度更高一些，但是具體實現效果，目前還沒有嘗試。