[數據分析學習筆記] 數據探索分析(EDA)需要了解的統計學基礎

Exploratory Data Analysis(EDA)

Exploratory Data Analysis(EDA)是指對已有數據在儘量少的先驗假設下通過作圖、製表、方程擬合、計算特徵量等手段探索數據的結構和規律的一種數據分析方法,該方法在上世紀70年代由美國統計學家J.K.Tukey提出。

傳統的統計分析方法常常先假設數據符合一種統計模型,然後依據數據樣本來估計模型的一些參數及統計量,以此瞭解數據的特徵,但實際中往往有很多數據並不符合假設的統計模型分佈,這導致數據分析結果不理想。EDA則是一種更加貼合實際情況的分析方法,它強調讓數據自身“說話”,通過EDA我們可以最真實、直接的觀察到數據的結構及特徵。

EDA出現之後,數據分析的過程就分爲兩步:探索階段和驗證階段。探索階段側重於發現數據中包含的模式或模型,驗證階段側重於評估所發現的模式或模型,很多機器學習算法(分爲訓練和測試兩步)都是遵循這種思想。

在數據分析工作中,利用統計學,可以更深入、更細緻地觀察數據是如何進行精確組織的,並且基於這種組織結構確定數據分析的方法,來獲取更多的信息。


數據分析的統計學基礎


特徵統計

研究數據集時經常使用的統計技術,包括偏差、方差、算數平均值、中位數、衆數、極差、百分數等等。理解特徵統計並且在代碼中實現都是非常容易的。請看下面的箱線圖:

上圖中,中間的直線表示數據的中位數。中位數用在平均值上,因爲它對異常值更具有健壯性。第一個四分位數本質上是25%,即數據中的25%要低於該值。第三個四分位數是75%,即數據中的75%要低於該值。而最大值和最小值表示該數據範圍的上下兩端。

舉例:來自對紅酒質量分析的一個案例

我們來看看上圖中對應的數值結果:

 

 

箱形圖很好地說明了基本統計特徵的作用:

  • 當箱形圖很短時,就意味着很多數據點是相似的,因爲很多值是在一個很小的範圍內分佈;
  • 當箱形圖較高時,就意味着大部分的數據點之間的差異很大,因爲這些值分佈的很廣;
  • 如果中位數接近了底部,那麼大部分的數據具有較低的值。如果中位數比較接近頂部,那麼大多數的數據具有更高的值。基本上,如果中位線不在框的中間,那麼就表明了是偏斜數據;
  • 如果框上下兩邊的線很長表示數據具有很高的標準偏差和方差,意味着這些值被分散了,並且變化非常大。如果在框的一邊有長線,另一邊的不長,那麼數據可能只在一個方向上變化很大。

概率分佈

可以將概率定義爲一些事件將要發生的可能性大小,以百分數來表示。在數據科學領域中,這通常被量化到0到1的區間範圍內,其中0表示事件確定不會發生,而1表示事件確定會發生。那麼,概率分佈就是表示所有可能值出現的機率的函數。

請看下圖:

常見的概率分佈,均勻分佈(上)、正態分佈(中間)、泊松分佈(下):

均勻分佈是其中最基本的概率分佈方式。它有一個只出現在一定範圍內的值,而在該範圍之外的都是0。我們也可以把它考慮爲是一個具有兩個分類的變量:0或另一個值。分類變量可能具有除0之外的多個值,但我們仍然可以將其可視化爲多個均勻分佈的分段函數。

正態分佈,通常也稱爲高斯分佈,具體是由它的平均值和標準偏差來定義的。平均值是在空間上來回變化位置進行分佈的,而標準偏差控制着它的分佈擴散範圍。與其它的分佈方式的主要區別在於,在所有方向上標準偏差是相同的。因此,通過高斯分佈,我們知道數據集的平均值以及數據的擴散分佈,即它在比較廣的範圍上擴展,還是主要圍繞在少數幾個值附近集中分佈。

泊松分佈與正態分佈相似,但存在偏斜率。象正態分佈一樣,在偏斜度值較低的情況下,泊松分佈在各個方向上具有相對均勻的擴散。但是,當偏斜度值非常大的時候,我們的數據在不同方向上的擴散將會是不同的。在一個方向上,數據的擴散程度非常高,而在另一個方向上,擴散的程度則非常低。

如果遇到一個高斯分佈,那麼我們知道有很多算法,在默認情況下高思分佈將會被執行地很好,因此首先應該找到那些算法。如果是泊松分佈,我們必須要特別謹慎,選擇一個在空間擴展上對變化要有很好健壯性的算法。


降維

降維這個術語可以很直觀的理解,意思是降低一個數據集的維數。在數據科學中,這是特徵變量的數量。請看下圖:

上圖中的立方體表示我們的數據集,它有3個維度,總共1000個點。以現在的計算能力,計算1000個點很容易,但如果更大的規模,就會遇到麻煩了。然而,僅僅從二維的角度來看我們的數據,比如從立方體一側的角度,可以看到劃分所有的顏色是很容易的。

通過降維,我們將3D數據展現到2D平面上,這有效地把我們需要計算的點的數量減少到100個,大大節省了計算量。

另一種方式是我們可以通過特徵剪枝來減少維數。利用這種方法,我們刪除任何所看到的特徵對分析都不重要。

例如,在研究數據集之後,我們可能會發現,在10個特徵中,有7個特徵與輸出具有很高的相關性,而其它3個則具有非常低的相關性。那麼,這3個低相關性的特徵可能不值得計算,我們可能只是能在不影響輸出的情況下將它們從分析中去掉。

用於降維的最常見的統計技術是PCA,它本質上創建了特徵的向量表示,表明了它們對輸出的重要性,即相關性。PCA可以用來進行上述兩種降維方式的操作。


過擬合和欠擬合

過擬合和欠擬合是用於分類問題的技術。例如,我們有1種分類的2000個樣本,但第2種分類只有200個樣本。這將拋開我們嘗試和使用的許多機器學習技術來給數據建模並進行預測。那麼,過擬合和欠擬合可以應對這種情況。

請看下圖:

在上面圖中的左右兩側,藍色分類比橙色分類有更多的樣本。在這種情況下,我們有2個預處理選擇,可以幫助機器學習模型進行訓練。

欠擬合意味着我們將只從樣本多的分類中選擇一些數據,而儘量多的使用樣本少的分類樣本。這種選擇應該是爲了保持分類的概率分佈。我們只是通過更少的採樣來讓數據集更均衡。

過擬合意味着我們將要創建少數分類的副本,以便具有與多數分類相同的樣本數量。副本將被製作成保持少數分類的分佈。我們只是在沒有獲得更多數據的情況下讓數據集更加均衡。


貝葉斯統計

完全理解爲什麼在我們使用貝葉斯統計的時候,要求首先理解頻率統計失敗的地方。大多數人在聽到“概率”這個詞的時候,頻率統計是首先想到的統計類型。它涉及應用一些數學理論來分析事件發生的概率,明確地說,我們唯一計算的數據是先驗數據(prior data)。

假設我給了你一個骰子,問你擲出6點的機率是多少,大多數人都會說是六分之一。

但是,如果有人給你個特定的骰子總能擲出6個點呢?因爲頻率分析僅僅考慮之前的數據,而給你作弊的骰子的因素並沒有被考慮進去。

貝葉斯統計確實考慮了這一點,我們可以通過貝葉斯法則來進行說明:

在方程中的概率P(H)基本上是我們的頻率分析,給定之前的關於事件發生概率的數據。方程中的P(E|H)稱爲可能性,根據頻率分析得到的信息,實質上是現象正確的概率。

例如,如果你要擲骰子10000次,並且前1000次全部擲出了6個點,那麼你會非常自信地認爲是骰子作弊了。如果頻率分析做的非常好的話,那麼我們會非常自信地確定,猜測6個點是正確的。同時,如果骰子作弊是真的,或者不是基於其自身的先驗概率和頻率分析的,我們也會考慮作弊的因素。

正如你從方程式中看到的,貝葉斯統計把一切因素都考慮在內了。當你覺得之前的數據不能很好地代表未來的數據和結果的時候,就應該使用貝葉斯統計方法。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章