缺失值處理

缺失值是指在數據採集與整理過程中丟失的內容。

一般情況下，數據都是以關係型表的方式採集的，如下表是某次調查中一些受訪者的基本情況見本文最後的表格。 

如果在表格中，某一個數據採集時無法獲得，就會出現缺失值，例如在上表中“張三”的性別和“趙六”的年齡就出現了缺失。

缺失值的處理一般有兩種方式，一是刪除對應的記錄，例如在上例中，如果張三的性別沒有記錄，出現缺失，則將張三的所有信息全部從數據庫中刪掉。這種方式在數據缺失非常少的情況下是可行的，但如果各個項目中都有少數的數據缺失存在，對所有缺失的記錄都進行刪除可能就會使總樣本量變得非常小，從而損失許多有用信息。缺失值處理的第二種方式是進行插值處理，所謂插值，是指人爲地用一個數值去替代缺失的數值。

插值處理根據插值的不同，有如下一些方法：

1．隨機插值

根據缺失值的各種可能情況，等概率地進行插值。

例如在上例中，“張三”的性別有兩種可能性，一是“男”，二是“女”，可以簡單地擲一枚硬幣，如果正面朝上，則賦值爲“男”，如果反面朝上，則賦值爲“女”。

2．依概率插值

隨機插值是假定各種一個變量取各種值的可能性是相等的，但有些情況下，我們可以事先知道一個變量取各種值的概率，例如，我們知道在上述的單位中，女性佔的比例是75％，男性的比例是25％，則在對“張三”的性別進行賦值時，不是按50％概率賦爲“女”，而是按75％概率賦爲“女”。

3．就近插值

就近插值是指根據缺失記錄附近的其他記錄的情況對缺失值進行插值，例如在上例中，“張三”的性別出現缺失，此時可以用其鄰近的“李四”的性別數據替代“張三”的性別數據，由於“李四”的性別爲“女”，所以將“張三”的性別也賦爲“女”。

就近插值是依概率插值的一種簡化處理，設想在整個單位的職工中，女性佔的比例是75％，則在一般情況下，與張三鄰近的記錄性別爲“女”的概率也應當爲75％，就近插值實際上就是依概率插值。

使用就近插值時，需要對抽樣過程進行必要的瞭解，如果抽樣時性別有交叉的情況，例如經常是調查完一名男性後就調查一名女性，則使用就近插值就會出現較多的錯誤。

4．分類插值

依概率插值是將記錄置於總體的背景上進行插值，沒有充分利用記錄的其他信息。如果在記錄的其他信息中有某些項目與缺失項目存在相關性，則可以根據這些輔助信息對總體進行分類，在每一類內部進行插值處理。

例如在上例中，“張三”的職業是“護士”，假定該單位中95％的“護士”性別爲“女”，則在進行插值是，就不是使用全單位的女性比例75％，而是使用“護士”中的女性比例95％對“張三”的性別進行賦值。