概率論與數理統計（茆詩松）複習

第一章 隨機事件及其概率

概率的公理化定義：
1）非負性公理
2）正則性公理
3）可加性公理

重複組合：從n個不同的元素中每次取出一個，放回後再取出下一個，如此連續取r次所得的組合稱爲重複組合，總數爲C_{n+r-1}^{r}
可結合插板法考慮

概率的加法公式

多個事件的獨立性不只是兩兩獨立，eg：三個事件相互獨立需要滿足4個等式。

條件概率同樣滿足概率的公理化中的三個條件。

乘法公式

全概率公式（經由另一對全空間的分割，通過乘法公式/條件概率推算得出）

由全概率公式可知，抽籤不分先後，機會是均等的。

敏感性問題的調查，可以設置兩個問題，其中A爲感興趣的B爲不感興趣的。被調查者從一個罐子中隨機抽取一隻球，抽到白球則回答A，抽到紅球則回答B。通過相關概率公式可以計算感興趣的問題的概率性質。

貝葉斯公式，可由條件概率公式、乘法公式及全概率公式得出。

第二章 隨機變量及其概率分佈

分佈函數F(x)=P(X<=x)的性質：
1）0<=F(x)<=1
2）在x趨於負無窮時爲0
3）在x趨於正無窮時爲1
4）F(x)是非降函數
5）右連續函數

泊松分佈
是常用對的離散分佈之一，eg: 在一定時間內， 電話總站接錯電話的次數。其中使用的 λ$\lambda$ 不同。泊松分佈與計數過程相關聯，在一定時間或一定區域或一特定單位內的前提下進行。

(泊松定理)
n大p小，且\lambda=np大小合適，二項分佈中的概率有一個很好的近似公式，可用泊松分佈中相應次數的概率近似二項分佈中的概率。(就求極限即可)

人們把一次試驗中出現概率很小(如小於0.05)成爲稀有事件，此時可使用二項分佈的泊松近似。

超幾何分佈

指數分佈Exp(λ)$Exp(\lambda )$
p(x)=λe−λx,x≥0$p(x)=\lambda e^{-\lambda x},x\ge 0$

隨機變量函數的分佈。Y=g(X)$Y=g(X)$
則pY(y)=pX(h(y))|h′(y)|$p_Y(y)=p_X(h(y))|h^{\prime }(y)|$
其中x=h(y)$x=h(y)$ 爲y=g(x)$y=g(x)$ 的反函數.

期望存在的條件是期望對應的積分絕對可積。
期望不一定存在如柯西分佈p(x)=1π(x2+1),−∞<x<+∞$p(x)=\frac{1}{\pi (x^2+1)},-\mathrm{\infty }<x<+\mathrm{\infty }$ 的期望不存在。

正態分佈N(μ,σ)$N(\mu ,\sigma )$
p(x)=12π√σe−(x−μ)22σ2,−∞<x<+∞$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\mathrm{\infty }<x<+\mathrm{\infty }$ ，其中−∞<μ<+∞$-\mathrm{\infty }<\mu <+\mathrm{\infty }$ 決定位置, σ>0$\sigma >0$ 決定散佈大小。
(從正態分佈可以導出一些有用的分佈，如統計中常用的三大分佈 χ2${\chi }^2$ ，t$t$ ， F$F$ )
0.95 (-1.96, 1.96)
0.99 (-2.58, 2.58)
0.99 (-3.29, 3.29)

伽馬分佈Ga(a,λ)$Ga(a,\lambda )$
p(x)=λaΓ(a)xa−1e−λx,x>0$p(x)={\displaystyle \frac{{\lambda }^a}{\mathrm{\Gamma }(a)}}{x}^{a-1}{e}^{-\lambda x},x>0$
其中a>0$a>0$ 稱爲形狀參數， λ>0$\lambda >0$ 稱爲尺度參數。
a<1,a=1,a>1$a<1,a=1,a>1$ 時密度函數各不相同，a>1$a>1$ 時密度函數具有單峯，另外1<a≤2$1<a\le 2$ 與a>2$a>2$ 時又有不同。
用於描述產品壽命
注： Γ(1)=1,Γ(n+1)=n!,Γ(12)=π−−√$\mathrm{\Gamma }(1)=1,\mathrm{\Gamma }(n+1)=n!,\mathrm{\Gamma }(\frac{1}{2})=\sqrt{\pi }$

1)因此， a=1$a=1$ 的伽馬分佈Ga(1，λ)$Ga(1，\lambda )$ 是指數分佈。可用來描述第一次衝擊到來的時間，電話的通話是時間等。具有無記憶性。

2) a=λ=n2$a=\lambda ={\displaystyle \frac{n}{2}}$ , λ=12$\lambda ={\displaystyle \frac{1}{2}}$ 的伽馬分佈Ga(n2，12)$Ga({\displaystyle \frac{n}{2}}，{\displaystyle \frac{1}{2}})$ 稱爲自由度爲n$n$ 的χ2${\chi }^2$ 分佈

貝塔分佈Be(a,b)$Be(a,b)$
p(x)=Γ(a+b)Γ(a)+Γ(b)xa−1(1−x)b−1,0≤x≤1$p(x)={\displaystyle \frac{\mathrm{\Gamma }(a+b)}{\mathrm{\Gamma }(a)+\mathrm{\Gamma }(b)}}{x}^{a-1}(1-x{)}^{b-1},0\le x\le 1$ ,其中a>0,b>0$a>0,b>0$ 均爲形狀參數
β(a,b)=∫10xa−1(1−x)b−1dx,a>0,b>0$\beta (a,b)={\int }_0^1{x}^{a-1}(1-x{)}^{b-1}dx,a>0,b>0$
β(a,b)=Γ(a)+Γ(b)Γ(a+b)$\beta (a,b)={\displaystyle \frac{\mathrm{\Gamma }(a)+\mathrm{\Gamma }(b)}{\mathrm{\Gamma }(a+b)}}$
a=1,b=1時$a=1,b=1時$Be(1,1)$Be(1,1)$ 即爲U(0,1)$U(0,1)$
期望與方差
E(X)$E(X)$ 是分佈位置的特徵數。
X−E(X)$X-E(X)$ 偏差
E(X−E(X))2$E(X-E(X){)}^2$ 表徵隨機變量取值的波動大小
Var(X)=E[X−E(X)]2=E(X2)−E(X)2$Var(X)=E[X-E(X){]}^2=E(X^2)-E(X{)}^2$
σ(X)=Var(X)−−−−−−√$\sigma (X)=\sqrt{Var(X)}$
可利用求導、二項式公式、泰勒展開、分部積分
二項分佈 B(n,p)$B(n,p)$
期望 np$np$ , 方差np(1−p)$np(1-p)$
泊松分佈P(λ)$P(\lambda )$
期望 λ$\lambda$ , 方差 λ$\lambda$
幾何分佈
期望p^{-1}

均與分佈 U(a,b)$U(a,b)$
期望 a+b2$\frac{a+b}{2}$ , 方差(b−a)212$\frac{(b-a{)}^2}{12}$
指數分佈 Exp(λ)$Exp(\lambda )$
p(x)=λe−λx,x≥0$p(x)=\lambda e^{-\lambda x},x\ge 0$
期望1λ$\frac{1}{\lambda }$ , 方差1λ2$\frac{1}{{\lambda }^2}$
正態分佈N(μ,σ)$N(\mu ,\sigma )$
p(x)=12π√σe−(x−μ)22σ2,−∞<x<+∞$p(x)=\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\mathrm{\infty }<x<+\mathrm{\infty }$ ，其中−∞<μ<+∞$-\mathrm{\infty }<\mu <+\mathrm{\infty }$ 決定位置, σ>0$\sigma >0$ 決定散佈大小。
(從正態分佈可以導出一些有用的分佈，如統計中常用的三大分佈 χ2${\chi }^2$ ，t$t$ ， F$F$ )
期望μ$\mu$
方差σ2${\sigma }^2$
伽馬分佈Ga(a,λ)$Ga(a,\lambda )$
期望aλ${\displaystyle \frac{a}{\lambda }}$ , 方差aλ2${\displaystyle \frac{a}{{\lambda }^2}}$
χ2${\chi }^2$ 分佈
期望n$n$ , 方差2n$2n$
貝塔分佈Be(a,b)$Be(a,b)$
期望aa+b${\displaystyle \frac{a}{a+b}}$

切比雪夫不等式
P(|X−E(X)≥ϵ|≤Var(X)ϵ)$P(|X-E(X)\ge ϵ|\le {\displaystyle \frac{Var(X)}{ϵ}})$

矩
變導係數Cv=Var(X)−−−−−−√EX$C_v={\displaystyle \frac{\sqrt{Var(X)}}{EX}}$
分位數F(xα)=∫xα−∞p(x)dx=P(X≤α)=α$F(x_{\alpha })={\int }_{-\mathrm{\infty }}^{x_{\alpha }}p(x)dx=P(X\le \alpha )=\alpha$ ,xα$x_{\alpha }$ 稱爲X$X$ 分佈的α$\alpha$ 分位數，或α$\alpha$ 下側分位數。
衆數Mod(X)$Mod(X)$ , P(X=x)$P(X=x)$ 達到最大的x$x$

第三章 多維隨機變量

二維正態分佈N(μ1,μ2,σ21,σ21,ρ)$N({\mu }_1,{\mu }_2,{\sigma }_1^2,{\sigma }_1^2,\rho )$
的邊緣分佈是一維正態分佈N(μ1,σ21)$N({\mu }_1,{\sigma }_1^2)$ , N(μ2,σ22)$N({\mu }_2,{\sigma }_2^2)$
由此也可以看出二維聯合分佈可以唯一決定其每個分量的的邊緣分佈，但是反過來不成立。

泊松分佈，二項分佈、正態分佈、伽馬分佈可加性：（獨立）
X∼P(λ1),Y∼P(λ1)$X\sim P({\lambda }_1),Y\sim P({\lambda }_1)$ ，X$X$ 與Y$Y$ 獨立，則X+Y∼P(λ1+λ2)$X+Y\sim P({\lambda }_1+{\lambda }_2)$
X∼B(n,p),Y∼B(m,p)$X\sim B(n,p),Y\sim B(m,p)$ ，X$X$ 與Y$Y$ 獨立，則X+Y∼B(n+m,p)$X+Y\sim B(n+m,p)$
X∼N(μ1,σ21),Y∼N(μ2,σ22)$X\sim N({\mu }_1,{\sigma }_1^2),Y\sim N({\mu }_2,{\sigma }_2^2)$ ，X$X$ 與Y$Y$ 獨立，則X+Y∼N(μ1+μ2,σ21+σ21)$X+Y\sim N({\mu }_1+{\mu }_2,{\sigma }_1^2+{\sigma }_1^2)$
X∼Γ(a1,λ),Y∼Γ(a2,λ)$X\sim \mathrm{\Gamma }(a_1,\lambda ),Y\sim \mathrm{\Gamma }(a_2,\lambda )$ ，X$X$ 與Y$Y$ 獨立，則X+Y∼Γ(a1+a2,λ)$X+Y\sim \mathrm{\Gamma }(a_1+a_2,\lambda )$

E(X+Y)=E(X)+E(Y)$E(X+Y)=E(X)+E(Y)$
X$X$ 與Y$Y$ 獨立，則E(XY)=E(X)E(Y)$E(XY)=E(X)E(Y)$
X$X$ 與Y$Y$ 獨立，則Var(X±Y)=Var(X)+Var(Y)$Var(X\pm Y)=Var(X)+Var(Y)$

協方差Cov(X,Y)=E[(X−E(X))(Y−E(Y))]=E(XY)−E(X)E(Y)$Cov(X,Y)=E[(X-E(X))(Y-E(Y))]=E(XY)-E(X)E(Y)$
X$X$ 與Y$Y$ 獨立，則Cov(X,Y)=0$Cov(X,Y)=0$ .
Var(X±Y)=Var(X)+Var(Y)±2Cov(X,Y)$Var(X\pm Y)=Var(X)+Var(Y)\pm 2Cov(X,Y)$

（線性）相關係數Corr(X,Y)=Cov(X,Y)σXσY$Corr(X,Y)={\displaystyle \frac{Cov(X,Y)}{{\sigma }_X{\sigma }_Y}}$
−1≤Corr(X,Y)≤1$-1\le Corr(X,Y)\le 1$
獨立則相關係數爲0，反之不然。在二維正態分佈場合例外。

條件期望E(E(X|Y))=E(X)$E(E(X|Y))=E(X)$

中心極限定理（n個相互獨立、同分布的隨機變量之和的分佈近似於正態分佈）
{Xn}$\{X_n\}$ 是獨立同分布的隨機變量序列，其中E(X1)=μ,Var(X1)=σ2$E(X_1)=\mu ,Var(X_1)={\sigma }^2$ ， 假如方差有限且不爲零0，則前n$n$ 個隨機變量之和的標準化變量Yn=X1+...+Xn−nμn−−√σ$Y_n={\displaystyle \frac{X_1+...+X_n-n\mu }{\sqrt{n}\sigma }}$ 的分佈函數收斂於Φ(y)$\mathrm{\Phi }(y)$ , 即
limn→+∞P(Yn≤y)=Φ(y)$\underset{n\to +\mathrm{\infty }}{lim}P(Y_n\le y)=\mathrm{\Phi }(y)$

因此np≥5,n(1−p)≥5$np\ge 5,n(1-p)\ge 5$ 時可用正態分佈近似二項分佈。使用正態近似應修正區間爲往左右放大dfrac12$dfrac12$

獨立不同分佈的隨機變量之和也有類似的中心極限定理。

統計量及其分佈

從這裏開始，我們通過對隨機現象的觀測或試驗來獲取數據，通過對數據的分析與推斷去尋求隱藏在數據中的統計規律性。

eg：通過樣本去推斷總體。由於在實際中常常只能得到有限的甚至少量的數據，這部分數據必然帶有隨機性，我們需要從中儘可能地排出隨機性的干擾以做出合理的推斷。

常用的抽取樣本的方法是“簡單隨機抽樣”，樣本具有代表性（同分布），獨立性。

經驗分佈函數，n增大經驗分佈函數也將在概率移一下越來越靠近總體分佈函數。

X=(X1,X2,...,Xn)$X=(X_1,X_2,...,X_n)$ 是取自某總體的一個容量爲n$n$ 的樣本， 如果
T=T(X)=T(X1,X2,...,Xn)$T=T(X)=T(X_1,X_2,...,X_n)$ 不含任何未知參數，則稱T$T$ 爲統計量。統計量的分佈稱爲抽樣分佈。

樣本均值X¯=1n∑i=1nXi$\overline{X}={\displaystyle \frac{1}{n}}\sum _{i=1}^n{X}_i$
樣本方差S2n=1n∑i=1n(Xi−X¯)2$S_n^2={\displaystyle \frac{1}{n}}\sum _{i=1}^n(X_i-\overline{X}{)}^2$
n$n$ 不大時，常用S2=1n−1∑i=1n(Xi−X¯)2$S^2={\displaystyle \frac{1}{n-1}}\sum _{i=1}^n(X_i-\overline{X}{)}^2$

計算偏差平方和Q=∑i=1n(xi−x¯)2$Q=\sum _{i=1}^n(x_i-\overline{x}{)}^2$ 的常用公式:
Q=∑i=1n(xi−x¯)2=∑i=1nx2i−2∑i=1nxi⋅x¯+∑i=1nx¯2=∑i=1nx2i−nx¯2=∑i=1nx2i−1n(∑i=1nxi)2$Q=\sum _{i=1}^n(x_i-\overline{x}{)}^2=\sum _{i=1}^n{x}_i^2-2\sum _{i=1}^n{x}_i\cdot \overline{x}+\sum _{i=1}^n{\overline{x}}^2=\sum _{i=1}^n{x}_i^2-n{\overline{x}}^2=\sum _{i=1}^n{x}_i^2-{\displaystyle \frac{1}{n}}(\sum _{i=1}^n{x}_i{)}^2$

X1,X2,...,Xn$X_1,X_2,...,X_n$ 是來自總體N(μ,σ2)$N(\mu ,{\sigma }^2)$ 的一個樣本，則
n−1σ2S2=nσ2S2n=1σ2∑i=1n(Xi−X¯)2∼χ2(n−1)${\displaystyle \frac{n-1}{{\sigma }^2}}{S}^2={\displaystyle \frac{n}{{\sigma }^2}}{S}_n^2={\displaystyle \frac{1}{{\sigma }^2}}\sum _{i=1}^n(X_i-\overline{X}{)}^2\sim {\chi }^2(n-1)$ 且與X¯$\overline{X}$ 獨立

偏度反映了總體分佈密度曲線的對稱信息。是統計數據分佈偏斜方向和程度的度量，是統計數據分佈非對稱程度的數字特徵。偏度(Skewness)亦稱偏態、偏態係數。SK>0$SK>0$ 右偏，正偏，右長尾，也就是說均值右邊的數據較多。

峯度（Kurtosis）與偏度類似，反映了總體分佈密度曲線的在其峯值附近的陡峭程度的信息。是描述總體中所有取值分佈形態陡緩程度的統計量。這個統計量需要與正態分佈相比較，峯度爲0表示該總體數據分佈與正態分佈的陡緩程度相同；峯度大於0表示該總體數據分佈與正態分佈相比較爲陡峭，爲尖頂峯；峯度小於0表示該總體數據分佈與正態分佈相比較爲平坦，爲平頂峯。峯度的絕對值數值越大表示其分佈形態的陡緩程度與正態分佈的差異程度越大。

總體偏度SK=μ3σ3$SK={\displaystyle \frac{{\mu }_3}{{\sigma }^3}}$ 即爲標準化變量的三階矩。
總體峯度μ4σ4−3${\displaystyle \frac{{\mu }_4}{{\sigma }^4}}-3$

其中μ3,μ4${\mu }_3,{\mu }_4$ 皆爲中心距。

次序統計量的抽樣分佈
第k$k$ 個次序統計量X(k)$X_{(k)}$ 的概率密度函數是：
pk(x)=n!(k−1)!(n−k)![F(x)]k−1[1−F(x)]n−kp(x)$p_k(x)={\displaystyle \frac{n!}{(k-1)!(n-k)!}}[F(x){]}^{k-1}[1-F(x){]}^{n-k}p(x)$

樣本極差表示樣本取值範圍的大小也反映了總體取值的分散和集中程度。
R=X(n)−X(1)$R=X_{(n)}-X_{(1)}$

參數估計

形式有兩種： 點估計和區間估計

點估計值能給人們一個明確的數量，未知參數是多少，但是卻不能給出精度。

點估計的常用方法有矩法估計和極大似然估計。

矩法估計 用樣本矩去估計總體矩

評價估計的好壞，無偏性（漸進五篇）、有效性（無偏時，方差最小）、均方誤差準則（有偏時，均方誤差最小）、相和性（p收斂，n越大θ^$\hat{\theta }$ 應該越來越接近θ$\theta$ ）

辛欽大數定律獨立同分布的隨機變量，具有有限數學希望，則樣本均值是數學期望的相和估計。

極大似然估計（MLE，總體分佈類型已知時
）
在θ$\theta$ 的一切取值之中選出一個使樣本觀測值出現的概率爲最大的θ$\theta$ 值（記爲）作θ^$\hat{\theta }$ 爲θ$\theta$ 的估計，並稱θ^$\hat{\theta }$ 爲θ$\theta$ 的極大似然估計.
L(θ)=∏i=1np(xi;θ)$L(\theta )=\prod _{i=1}np(x_i;\theta )$ ,
則L(θ^)=maxL(θ)$L(\hat{\theta })=maxL(\theta )$
可通過求導獲得極大似然估計的情況，直接求導（爲求導方便，常對似然函數取對數）。不可時，通過定義出發直接求L(θ)$L(\theta )$ 的極大值點。

極大似然估計的不變原則，θ^$\hat{\theta }$ 爲θ$\theta$ 的極大似然估計， g(θ)$g(\theta )$ 是θ$\theta$ 的連續函數， 則
g(θ^)$g(\hat{\theta })$ 爲g(θ)$g(\theta )$ 的極大似然估計.

極大似然估計具有漸進正態性。

區間估計給出一個區間以及相應的精度。
P(θL≤θ≤θU)≥1−α$P({\theta }_L\le \theta \le {\theta }_U)\ge 1-\alpha$ , 則稱隨機區間[θL,θU]$[{\theta }_L,{\theta }_U]$ 是θ$\theta$ 的置信水平爲1−α$1-\alpha$ 的置信區間
常用方法樞軸量法（點估計θ^$\hat{\theta }$ 通過點估計去尋找）
從θ$\theta$ 的一個點估計θ^$\hat{\theta }$ 出發，構造θ^$\hat{\theta }$ 與θ$\theta$ 的一個函數G(θ^,θ)$G(\hat{\theta },\theta )$ ,是的G$G$ 的分佈已知且與θ$\theta$ 無關
eg:
正態分佈N(μ,σ2)$N(\mu ,{\sigma }^2)$

1）正態均值
方差σ2${\sigma }^2$ 已知，樣本數n$n$ 已知, 將X¯−μσ/n−−√${\displaystyle \frac{\overline{X}-\mu }{\sigma /\sqrt{n}}}$ 作爲樞軸量給出均值μ$\mu$ 得到置信區間

2）正態均值
方差σ2${\sigma }^2$ 未知，樣本數n$n$ 已知,
將X¯−μS/n−−√${\displaystyle \frac{\overline{X}-\mu }{S/\sqrt{n}}}$ (t(n−1))作爲樞軸量給出均值$t(n-1))作爲樞軸量給出均值$ \mu$得到置信區間。

t$t$ 分佈t(n)X∼N(0,1)$t(n)X\sim N(0,1)$ , Y∼χ2(n)$Y\sim {\chi }^2(n)$ ， 且X$X$ 與Y$Y$ 獨立，則t=XY/n−−−−√$t={\displaystyle \frac{X}{\sqrt{Y/n}}}$ 的分佈稱爲自由度爲n$n$ 的t$t$ 分佈

3)正態方差
均值μ$\mu$ 未知，樣本數n$n$ 已知,
將(n−1)S2σ2${\displaystyle \frac{(n-1)S^2}{{\sigma }^2}}$ (χ2(n−1)${\chi }^2(n-1)$ )作爲軸量給出方差σ2${\sigma }^2$ 得到置信區間。

4)兩正態均值差
同正態均值的思路

5）兩正態方差比

F$F$ 分佈F(n,m)$F(n,m)$
X∼χ2(n)$X\sim {\chi }^2(n)$ , Y∼χ2(m)$Y\sim {\chi }^2(m)$ ,且X$X$ 與Y$Y$ 獨立，則F=X/nY/m$F={\displaystyle \frac{X/n}{Y/m}}$ 的分佈稱爲自由度是n$n$ 與m$m$ 的F$F$ 分佈

假設檢驗

步驟
1）建立假設，原假設與備擇假設
常把沒有把握不能輕易肯定的命題作爲備擇假設，把沒有充分理由不能輕易否定的命題作爲原假設，只有理由充足時纔會拒絕它，否則保留。
2）尋找檢驗統計量（由於要確認原假設是否爲真，那麼我們先假定原假設成立，然後用樣本去判斷真僞，而樣本信息較爲分散，所以要構造一個統計量幫助判斷）
3）顯著水平與臨界值
顯著水平即爲原假設爲真但被拒絕的概率
兩類錯誤：
第一類錯誤，原假設爲真而被拒絕，拒真概率記爲α$\alpha$
第二類錯誤，原假設爲假但保留，取僞概率記爲β$\beta$
單雙邊看備擇假設
樣本容量固定時，兩者一般一個大一個小，不能同時減小，所以抽取樣本時，儘量使樣本容量大一點，可減小兩類錯誤。
4）作判斷，拒絕或保留原假設

關於均值的檢驗
1）方差已知
X¯$\overline{X}$ 作爲檢驗統計量

2）方差未知
X¯−μ0S/n−−√${\displaystyle \frac{\overline{X}-{\mu }_0}{S/\sqrt{n}}}$ 作爲檢驗統計量

關於方差的檢驗
(n−1)S2σ20${\displaystyle \frac{(n-1)S^2}{{\sigma }_0^2}}$ 作爲檢驗統計量

兩正態總體方差
S2XS2Y${\displaystyle \frac{S_X^2}{S_Y^2}}$ 作爲檢驗統計量

兩正態總體均值差
同正態均值的思路

p值

前面所討論的檢驗問題是在分佈形式已知的前提下對分佈的參數進行的，他們都屬於參數假設檢驗問題，當我們對總體分佈知之甚少時，就要採用非參數檢驗。

χ2${\chi }^2$ 擬合優度檢驗
用來檢驗一批分類數據所來自的總體的分佈是否與某種理論分佈相一致。

1)總體可分爲有限類，但總體分佈不含未知參數。（此時pi$p_i$ 已知）
總體X$X$ 可分爲r$r$ 類，記爲A1,...Ar$A_1,...A_r$ 。
H0:p(Ai)=pi,i=1,...r$H_0:p(A_i)=p_i,i=1,...r$
n$n$ 充分大且H0$H_0$ 爲真時,χ2=∑i=1r(ni−npi)2npi${\chi }^2=\sum _{i=1}^r{\displaystyle \frac{(n_i-n{p}_i{)}^2}{n{p}_i}}$ 近似服從自由度爲r−1$r-1$ 的χ2${\chi }^2$ 分佈

2)總體可分爲有限類，但總體分佈含k$k$ 個未知參數。（此時pi$p_i$ 未知，可用極大似然估計去代替，相應的自由度減k$k$ ）

3)總體爲連續分佈的情況
H0:X$H_0:X$ 服從分佈F(x)$F(x)$
把檢驗問題轉化爲分類數據的檢驗問題

列聯表的獨立性檢驗
H0:pi,j=pi,.p.,j∀i,j$H_0:p_{i,j}=p_{i,.}{p}_{.,j}\mathrm{\forall }i,j$
χ2=∑ri=1∑cj=1(nij−npi,j)2npi,j=∑ri=1∑cj=1(nij−npi,.p.,j)2npi,.p.,j${\chi }^2=\sum _{i=1}^r\sum _{j=1}^c{\displaystyle \frac{(n_{ij}-n{p}_{i,j}{)}^2}{n{p}_{i,j}}}=\sum _{i=1}^r\sum _{j=1}^c{\displaystyle \frac{(n_{ij}-n{p}_{i,.}{p}_{.,j}{)}^2}{n{p}_{i,.}{p}_{.,j}}}$
pi,.p.,j$p_{i,.}{p}_{.,j}$ 使用極大似然估計去替換
p^i,.=ni,.n${\hat{p}}_{i,.}={\displaystyle \frac{n_{i,.}}{n}}$
p^.j=n.,jn${\hat{p}}_{.j}={\displaystyle \frac{n_{.,j}}{n}}$
即採用檢驗統計量
χ2=∑ri=1∑cj=1(nij−np^i,.p^.j)2np^i,.p^.j${\chi }^2=\sum _{i=1}^r\sum _{j=1}^c{\displaystyle \frac{(n_{ij}-n{\hat{p}}_{i,.}{\hat{p}}_{.j}{)}^2}{n{\hat{p}}_{i,.}{\hat{p}}_{.j}}}$ 自由度爲n−(r+c−2)=(r−1)(c−1)$n-(r+c-2)=(r-1)(c-1)$

方差分析

單因子方差分析
因子–變量，水平–變量的不同過取值

設因子A$A$ 有r$r$ 個水平A1,..,Ar$A_1,..,A_r$ ，每一水平下都可以看成一個總體，現有r$r$ 個水平，故有r$r$ 個總體，假定
1）每一總體服從正態分佈
2）每一總體方差相同
3）從每一總體中抽出的樣本獨立
比較哥哥總體的均值是否一致
H0:μ1=...=μr$H_0:{\mu }_1=...={\mu }_r$
H0$H_0$ 爲真時，稱該因子的各水平間無顯著差異，簡稱該因子不顯著。

方差分析檢驗具有相同方差的正態總體均值是否相等
ai$a_i$ 稱爲因子A$A$ 的第i$i$ 水平的主效應,原假設可改寫爲
H0:a1=...=ar=0$H_0:a_1=...=a_r=0$

總偏差平方和
ST=∑i=1r∑j=1mi(yi,j−y¯)2$S_T=\sum _{i=1}^r\sum _{j=1}^{m_i}(y_{i,j}-\overline{y}{)}^2$
由於假設原假設爲真，所以除去一個常數項(方差)後服從自由度爲n−1$n-1$ 的χ2${\chi }^2$ 分佈

組內偏差平方和(誤差偏差平方和)
Sϵ=∑i=1r∑j=1mi(yi,j−yi,.¯)2$S_{ϵ}=\sum _{i=1}^r\sum _{j=1}^{m_i}(y_{i,j}-\overline{y_{i,.}}{)}^2$
除去一個常數項(方差)後服從自由度爲n−r$n-r$ 的χ2${\chi }^2$ 分佈

因子A$A$ 的偏差平方和
SA=∑i=1r∑j=1mi(yi,.¯−y¯)2=∑i=1rmi(yi,.¯−y¯)2$S_A=\sum _{i=1}^r\sum _{j=1}^{m_i}(\overline{y_{i,.}}-\overline{y}{)}^2=\sum _{i=1}^r{m}_i(\overline{y_{i,.}}-\overline{y}{)}^2$

ST=Sϵ+SA$S_T=S_{ϵ}+S_A$
由於假設原假設爲真，所以SA$S_A$ 除去一個常數項(方差)後服從自由度爲r−1$r-1$ 的χ2${\chi }^2$ 分佈

採用檢驗統計量F=SA/(r−1)Sϵ/(n−r)$F={\displaystyle \frac{S_A/(r-1)}{S_{ϵ}/(n-r)}}$

多重比較
當因子顯著時，如何進一步去確認哪些水平減的確有差異，哪些水平間無顯著差異。同時比較任意兩個水平間有無顯著差異的問題叫做多重比較。

一元線性迴歸

迴歸分析是研究變量間相關關係的一種統計方法
yi=β0+β1xi+ϵi,i=1,2,...,n$y_i={\beta }_0+{\beta }_1{x}_i+{ϵ}_i,i=1,2,...,n$ 其中ϵi${ϵ}_i$ 相互獨立且服從均值爲零的正態分佈N(0,σ2)$N(0,{\sigma }^2)$

迴歸係數如何估計？
一個直觀的想法是觀測值與估計值的偏差越小越好，轉化爲求偏差平方和達到最小，即最小二成估計

迴歸方程是否有意義？
H0:β1=0$H_0:{\beta }_1=0$
F檢驗，類似於方差分析，從偏差平方和分解入手。
F=SR/1SE/(n−2)$F={\displaystyle \frac{S_R/1}{S_E/(n-2)}}$

t檢驗(β1^$\widehat{{\beta }_1}$ 服從正態分佈)t=β1^σ^/lxx−−−√$t={\displaystyle \frac{\widehat{{\beta }_1}}{\hat{\sigma }/\sqrt{l_{xx}}}}$

相關係數檢驗r2=l2xylxxlyy=11+n−2F$r^2={\displaystyle \frac{l_{xy}^2}{l_{xx}{l}_{yy}}}={\displaystyle \frac{1}{1+\frac{n-2}{F}}}$

可化爲一元線性迴歸的曲線迴歸
相關指數（類似於一元線性迴歸方程中的相關係數）
R2=1−∑i(yi−yi^)2∑i(yi−y¯)2$R^2=1-{\displaystyle \frac{\sum _i(y_i-\widehat{y_i}{)}^2}{\sum _i(y_i-\overline{y}{)}^2}}$ 越大越好。

剩餘標準差
s=∑i(yi−yi^)2n−2−−−−−−−−−−⎷$s=\sqrt{{\displaystyle \frac{\sum _i(y_i-\widehat{y_i}{)}^2}{n-2}}}$ 越小越好