統計學(三)：置信區間; Z 檢驗(樣本平均數的假設檢驗), 均值分佈, 附Python實現（大牌護膚品碧歐泉背後的祕密）

引言

  本篇博文開始前，請熟知如下鏈接中的概念；當然，如果直接開始，遇到遺忘的統計學名詞再返回查找也沒問題。

統計學(二)：假設檢驗導論 (深入淺出超詳解，附Python 代碼)；置信區間與 Z 檢驗先修

  統計學(二)中關於金錢與幸福指數的案例，它的樣本只有一個被試。然而，正如我們所說的那樣，在實際的例子當中，各領域的研究中大多數都是一個樣本中包含着許多個體。所以本篇博文將考慮樣本不止一個個體的假設檢驗。

  大牌護膚品碧歐泉的廣告已經滲透到筆者的瀏覽器首頁了，錯點開一看，發現與商品效果有關的數字很誘人。

  正好筆者母親準備生日，既然那麼多女性給出的反饋都是好好好，就想着要不要搞一下？正猶豫之時，突然看到下面這行小字

  也就只給了62名女性試用，就好意思得出這樣牛逼的結論？但鑑於碧歐泉以前的口碑，所以這62名女性說是隨機抽樣來的這點可以相信(如果不是隨機抽樣，即都請些偏袒碧歐泉的人來檢測，那就太說不過去了)。爲了更好的探究這個得到了試用裝樣本的羣體的評分情況是否真的能夠反映出產品效果優良與否，筆者對他們的評分數據進行了假設檢驗(Z檢驗)，並得出了結論。

  下面這幅圖是一般女性（不使用該款碧歐泉產品）對自己肌膚清新度的評分情況，已知平均值和標準差。清新度、細緻度和乾淨度這三個維度都是需要探究的，因爲假設檢驗的步驟相同，只是利用的數據不同而已，所以筆者這裏以清新度爲例。

  評分還可以，平均分爲6.8，標準差爲2。現在，碧歐泉所在的研究團隊隨即招募了含62個個體的樣本來試用碧歐泉的新產品，使用週期爲大約28天。調研結束後，包含着62個個體的評分結果也隨之出爐。在這個包含多個個體的小樣本中，我們也拿到了一個 平均值：7.3 那我們該如何評估剛纔提出的“碧歐泉家的這款新產品(小綠蛋)對肌膚清新度的影響”呢？

問：既然平均值已經高於6.8了，爲什麼不可以直接下定論呢？

答：7.3這個評分只是62個人的評分的平均值，你哪裏來的自信，而6.8這個平均分是針對總體而言的，即數據來源是數以萬計的女性評分。

問：爲了是結論具有更大的說服力，我們爲何不增大樣本中的個體數量呢？根據大數定律可知當樣本數量越來越大時，統計量(樣本的數值概要)也會更接近參數(總體的數值概要)？

答：統計學(二)已經講得很清楚了，資源有限，動不動就給幾千甚至幾萬女性試用新產品，也太奢侈了吧…

---

均值分佈

均值分佈的官方概念

均值分佈  總體中給出一定規模的樣本的平均數的分佈（也稱爲平均數的抽樣分佈）；當假設檢驗涉及的樣本中不止一個個體時，比較分佈即均值分佈。

---

爲什麼需要均值分佈

再次強調，請確保你已經完全理解了 Z分數 的含義

  教材概念：均值分佈是許多具有相同規模的樣本的平均數的分佈，每個樣本都是隨機地從具有相同個體的總體中抽取出來的。(統計學家也稱這種平均數的分佈爲平均數的抽樣分佈。而均值分佈這個詞可以使我們更好的明白討論的是平均數的總體，而不是樣本或者某種樣本分佈)

  統計學(一)+(二)中，我們已經知道將某一個個體的原始分數轉化爲Z分數後，可通過查表或粗略估計兩種方法得到TA的段位情況；其中比較分佈中的數據是由一個個個體分數組成的。所以對單個個體求z分數，並將其與由一個個單個個體組成的分佈進行比較，合情合理。但現在我們希望知道這個樣本(包含了多個獨立個體)的平均數情況，如果比較分佈還是由個體組成的話，那就有點“錯配”的感覺了，這個時候我們就需要祭出均值分佈了。

---

均值分佈的通俗理解？

  如果覺得均值分佈這個詞有點微繞的話，那就一句話：什麼是分佈？無三不成幾，只有多個單一個體組成一個小羣體，纔有“分佈”一詞之說。均值分佈，均值的分佈，即這個分佈中有許多均值。均值怎麼來？均值從一個包含多個個體的樣本中來。所以要想得到均值的分佈，我們需要下一番苦功。生成過程如下

---

均值分佈的特徵

  從通俗理解中我們可知，要想得到一個包含多個個體的樣本的均值分佈（這個樣本的比較分佈，用來確定這個樣本的平均值處在什麼段位，是比一般總體顯著要高還是要低），需要下一番苦功。根據均值分佈通俗理解的圖，研究小組每次從這個樣本（含62個個體）中隨機抽出2個個體並求其平均分，N 抽取的次數，可以看出，隨着 N 的增大，均值分佈的形態也越來越接近正態分佈，而且分佈情況也開始美觀起來（不再是那麼低矮）

  然而幸運的是，我們可以利用一些簡單的法則直接得出均值分佈的特徵，甚至可以不用一個樣本。我們僅僅需要的信息是

• 包含個體的總體分佈特徵
• 每個樣本中的分數的數量

爲了更好的理解均值分佈的特徵，筆者直接進行揭密，後再逐一拆解。

---

均值分佈的平均值和標準差

法則1：均值分佈的平均數與包含衆多個體的總體的平均數是一樣的

$\mu_M = \mu$

  $\mu_m$是均值分佈的平均數，$\mu$時包含衆多個體的總體的平均數。

問：明明調研樣本只有62個，總體有成千上萬個，均值分佈的平均數和包含衆多個體的總體的平均數還會一樣？

答：每一個樣本（不止一個個體）都是以從包含衆多個體的總體中隨機選擇出來的個體爲基礎的。因此，樣本的平均數比起包含衆多個體的總體平均數來說時高時低。然而，在構建均值分佈時，因爲選擇過程是隨機的且我們選取了很多樣本。最後，較高的平均數和較低的平均數就完美抵消了。

---

法則2：這條法則是關於離散程度的。均值分佈的方差比總體的方差要小，計算公式如下

$\sigma^2_M = \frac{\sigma^2}{N}$

  其中，$\sigma^2_M$ 表示均值分佈的方差，$\sigma^2$ 和 $N$ 分別表示總體的方差和每個樣本中的個體數量。如果你用的是包含兩個分數的樣本，不大可能兩個分數都是極端的。此外，對於有一個極端平均數的特殊隨機樣本來說，這兩個極端分數在同一方向上(都非常高或都非常低)都會變得非常極端。因此，每個樣本中不止一個分數會對這樣的樣本平均數有一個適度的影響。在任何一個樣本呢中，極端值都會由於一箇中間分數或是對立方向上的一個極端值而傾向於保持平衡。這使得每個樣本平均數趨向於中間趨勢而離極端值越來越遠。由於極端值越來越少，平均數的方差比由衆多個體組成的方差小。所以均值分佈的標準差 $\sigma_M$ 也就呼之欲出。

$\sigma_M = \sqrt{\frac{\sigma^2}{N}}$

---

法則3：在以下條件下均值分佈的形態近似正態分佈：a）每個樣本包含30個或更多個體。b）總體分佈是正態分佈

  首先我們需要知道，無論總體分佈是什麼形態，均值分佈都趨向於單峯的和對稱的。均值分佈趨於單峯態是因爲極端值對於保持平衡有着與我們在討論方差時注意到的相似規律；中間位置的平均數更有可能，極端平均數不大可能；趨於對稱是因爲非對稱(偏態)是由極端值導致的。極端值更少了，非對稱也就更少了。

  每個樣本中的個體越多，均值分佈就越接近正態曲線。儘管均值分佈鮮有一個確切的正態曲線，但是包含30個或更多個體的樣本（甚至是一個非正態總體），均值分佈就會更接近於正態曲線，並且正態曲線表裏的百分比也十分精確。（也就是說，樣本量大於30具有更勝一籌的近似值，但是對於大多數實踐研究來說，樣本量爲30就足夠了。）最後，無論什麼時候，只要包含衆多個體的總體分佈是正態的，不管每個樣本中的個體數量是多少，均值分佈都是正態的。

---

休息一下跳個舞再繼續吧…

均值分佈的假設檢驗：Z檢驗

再次強調，請確保你已經完全理解了 Z分數 的含義

  剛纔的一頓基礎輸入完畢後，我們就要開始快馬加鞭的進行碧歐泉新產品的調研了。假設檢驗的幾個步驟在統計學(二)假設檢驗導論中已經非常明確了，簡單溫習一下。（務必十分清晰步驟）

假設檢驗的步驟

1. 重申有關總體的研究假設和零假設問題
2. 決定比較分佈的特徵
3. 根據比較分佈上的樣本臨界值來決定是否應該拒絕零假設
4. 決定比較分佈上你的樣本分數
5. 決定是否拒絕零假設

  一些比較有經驗的老司機會直接將第一步和第三部結合，即明確了研究的問題後就先確定一個標準，再將後續計算出來的結果和這個標準相比對，從而決定是否放寬/加嚴一點。但第一步往往是被忽視的，畢竟普通的統計學教材和一些考試題都是直接丟給你幾句話讓你判斷，如下圖

PS：看到問號後面的小括號中的提示我們還能猜到要用Z檢驗，但現實情況/業務紛繁複雜，我們怎麼知道該選取什麼樣的檢驗方式呢？(後續博文)

  如果我們能夠探尋其背後的業務背景，即它希望解決的是什麼問題/驗證的是什麼假設？使用的單側還是雙側檢驗，該選擇什麼樣的檢驗方式都通過現實生活來理解的話，就不用在臨考前狂刷題和狂背公式了，說來真的慚愧。讓我們回到碧歐泉的例子，正式開始進行Z檢驗！

---

Z檢驗實戰

步驟1 + 步驟3

確定總體

總體1：一般女性對自己肌膚清新度的評分
總體2：使用了碧歐泉小綠蛋後的女性對自己肌膚清新度的評分

確定研究假設與零假設

研究假設：碧歐泉小綠蛋對女性給出的肌膚清新度評分有影響
零假設：碧歐泉小綠蛋對女性給出的肌膚清新度評分有影響

確定是選擇單側還是雙側Z檢驗，並確定Z臨界值

因爲研究假設是探究是否有影響，即怎樣影響，所以沒有明確的指明方向，視結果而定，所以這裏選擇雙側檢驗，取顯著性水平 $\alpha = 5$，即比較分佈中兩端各2.5%，Z臨界值爲正負1.96。即如果計算出來的Z值大於1.96或小於-1.96，我們就要拒絕零假設。

步驟2 + 步驟4

決定比較分佈的特徵

  根據碧歐泉調研小組手頭上的數據可知，一般總體(沒有使用產品)分佈中，$\mu=6.8$，$\sigma=2$，樣本平均數 $M=7.3$ 再根據上面提高的均值分佈對應的平均數和標準差的計算公式，可得 $\mu_M=\mu=6.8$，$\sigma_M = \frac{\sigma}{N}=\sqrt{\frac{2^2}{62}}=0.25$，又因爲這個樣本超過了30個個體(62位女性受試)，均值分佈的形態就是近似正態分佈，如下圖(注意看標標準差)

計算比較分佈上你的樣本分數

  統計學(二)假設檢驗導論中已經清晰的說到，比較分佈即是零假設成立時的分佈，我們現在計算比較分佈上的樣本分數，旨在查看其是否超過了我們期望的臨界值，在Z檢驗中，臨界值又可被稱爲Z臨界值。

$Z = \frac{M-\mu_M}{\sigma_M}=\frac{7.3-6.8}{0.25}=2$

步驟5：決定是否拒絕零假設

  我們設置的拒絕零假設的最小正Z分數是+1.96。樣本平均數的Z分數爲+2，因此，碧歐泉調查小組能夠拒絕零假設且得出研究假設是被支持的，換句話說，Z檢驗的結果在p<0.05水平上具有統計顯著性。拒絕過程如圖

看來碧歐泉的這款產品對提升肌膚清新度還是有用的。

---

置信區間

爲什麼需要置信區間

  當總體平均數未知，對總體平均數最好的估計值就是樣本平均數。但是，用樣本平均數作爲總體平均數的估計值究竟有多精確呢？解決這個問題就必須解決 “從總體中抽取的樣本的平均數如何變化” 這一問題。幸運的是當考慮均值分佈時，我們就已經思考了這個問題。

從總體中得出的樣本平均數的變異就是均值分佈的變異。均值分佈的標準差、平均數的標準誤，都是對樣本平均數與總體平均數相比變異多少的測量。

---

什麼是置信區間(CI: Confidence Interval)

大致來說很可能包括真正總體平均數的分數範圍（即較高和較低值之間的分數）；更加準確地說，即從中能得到你的樣本平均數的概率很高的可能均值範圍

又繞了？來看看下面的圖吧，統計學(一)中的Z分數分佈圖已經非常清晰了

  以中國女性平均身高(平均158cm-百度百科)爲例，其分佈是如上圖的正態分佈，知道均值(158)和標準差(x)。那我們可以大膽的說出如下話語：

• 中國女性的身高100%分佈在這個分佈圖中(這是肯定的，已經包含了異常值)
• 百分之68%（我們有68%的自信）的中國女性的身高在158加減x之間
• 百分之96%（我們有96%的自信）的中國女性的身高在158加減2x之間
• 以此類推…

95%的置信區間  該置信區間就是有95%的概率總體平均數會落入這個區間之內

---

置信區間怎麼求

  既然是一個區間，那就有上下界限，這兩個界限統稱爲置信界限。對於單個樣本來說，我們想知道自己有百分之多少信心能確定它落在哪個範圍，只需要對照個體總體的分佈圖，上面最近的那副，知道這個個體總體的標準差，然後照着套就行，$X-\sigma=158-x, X+\sigma=158+x$，所以我們有68%的自信認爲中國女性的平均身高落在 [158-x, 158+x] 這個區間中。順便說一下，你越自信，給自己留的後路就越要多些。筆者有百分之一百二十的自信確定自己的年收入在1~100萬間（雖然很荒謬）。所以置信度/置信水平/自信程度越大，置信區間就越寬。

  換算成均值分佈的置信區間，只需要將字母改一下而已，原理還是一樣的。

$X \pm \sigma \Rightarrow M \pm \sigma_M \Rightarrow X \pm \frac{\sigma}{N}$

不說了我先去買禮物了，Python 實現見底部鏈接

---

模擬問答

• 具有超過一個個體的樣本的假設檢驗與只有一個個體的樣本的假設檢驗有什麼不同。
• 什麼是均值分佈
• Z 檢驗是什麼，有什麼用，公式？
• 95%的置信區間又是什麼意思，如何計算？
• 置信度與置信區間的關係
• 什麼時候選擇單樣本Z檢驗，雙樣本Z檢驗，單樣本t檢驗，雙樣本t檢驗，卡方檢驗等等(後續博文)

---

後記

延伸閱讀

• 統計學(二)：假設檢驗導論 (深入淺出超詳解，附Python 代碼)；置信區間與 Z 檢驗先修

精彩回顧

• Python 繪製正態曲線：linespace 組合 matplotlib(放入自寫庫，一行代碼實現複雜繪圖)
• Excel 瀏覽大表格的坑 – 這幾個快捷鍵與技巧，輕鬆避坑，效率加倍(金融實戰)

  數據分析，商業實踐，數據可視化，網絡爬蟲，統計學，Excel，Word, 社會心理學，認知心理學，行爲科學，民族意志學 各種專欄後續瘋狂補充

  歡迎評論與私信交流！