數據預處理之異常值處理

定義:

異常值,即在數據集中存在不合理的值,又稱離羣點。比如年齡爲-1,筆記本電腦重量爲1噸等,都屬於異常值的範圍。從集合角度來看,異常值即離羣點,如下圖所示:

這裏寫圖片描述

判別方法:

1.簡單統計分析

對屬性值進行一個描述性的統計,從而查看哪些值是不合理的。比如對年齡這個屬性進行規約:年齡的區間在[0:200],如果樣本中的年齡值不再該區間範圍內,則表示該樣本的年齡屬性屬於異常值。

2. 3δ原則

當數據服從正態分佈:

根據正態分佈的定義可知,距離平均值3δ之外的概率爲 P(|x-μ|>3δ) <= 0.003 ,這屬於極小概率事件,在默認情況下我們可以認定,距離超過平均值3δ的樣本是不存在的。 因此,當樣本距離平均值大於3δ,則認定該樣本爲異常值。

這裏寫圖片描述

當數據不服從正態分佈:

當數據不服從正態分佈,可以通過遠離平均距離多少倍的標準差來判定,多少倍的取值需要根據經驗和實際情況來決定。

3.箱型圖分析

箱型圖提供了一個識別異常值的標準,即大於或小於箱型圖設定的上下界的數值即爲異常值,箱型圖如下圖所示:

這裏寫圖片描述

首先我們定義下上四分位下四分位

上四分位我們設爲 U,表示的是所有樣本中只有1/4的數值大於U
同理,下四分位我們設爲 L,表示的是所有樣本中只有1/4的數值小於L

那麼,上下界又是什麼呢

我們設上四分位與下四分位的插值爲IQR,即:IQR=U-L

那麼,上界爲 U+1.5IQR下界爲: L - 1.5IQR

箱型圖選取異常值比較客觀,在識別異常值方面有一定的優越性。

常用處理方法:

異常值的處理方法常用有四種

1.刪除含有異常值的記錄

2.將異常值視爲缺失值,交給缺失值處理方法來處理

3.用平均值來修正

4.不處理

需要強調的是,如何判定和處理異常值,需要結合實際

參考

《python數據分析與挖掘實戰》

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章