四. 極限定理
1. 大數定理
1) 切比雪夫大數定律
公式略.
直觀意義上就是當Xn是獨立同分布的隨機變量序列，則當n趨向於無窮大的時候.Xk的平均值概率趨近於E(Xn).
這也就爲我們平常利用大量的實驗頻率來逼近概率提供了理論依據.
2) 辛欽大數定律
在切比雪夫大數定律的基礎上，去掉了方差的限制.
2. 中心極限定理
引入: 在大數定理中我們只能知道當n充分大的時候，均值趨向於期望。但是這個P(|Xm-E(x)|同樣在很多問題中直接去求這個概率往往很難，因此我們常常利用正態分佈的特性(當一個隨機變量有多個獨立隨機變量之和，每一個隨機變量對總和的作用很微小，此時我們可以認爲這個隨機變量近似的服從正態分佈.)
中心極限定理: 在某種條件下，使得一個隨機變量的極限分佈式正態分佈的結果，統稱爲中心極限定理。
常見的有: 林德伯格-列維中心極限定理
http://baike.baidu.com/view/45355.htm
五. 數理統計基本概念
1. 基本概念
1) 總體、個體
2) 簡單隨機樣本 (總體中抽樣得到的獨立同分布的隨機變量)
3) 統計量.
統計量實際上就是對樣本研究的一個函數,這個函數不含任何未知參數. 通過統計量來對樣本的各種聯繫等等信息進行挖掘！
常見的統計量有: Mean, Expectation, Variance, Standard Variance, Kth Origin Moment, Kth Central Moment.
2. 常見的抽樣分佈
抽樣分佈就是統計量的分佈，通常一般的統計量的分佈較爲難求。因此下面討論的都是正態分佈的抽樣分佈.
1) X2分佈、t分佈、F分佈
2) 正態總體的抽樣分佈
六. 參數估計
在數理統計中往往研究的總體或者樣本的分佈已知，但是其中的參數未知。此時通常需要通過一些列的方法(主要就是利用樣本觀察值)來進行參數估計.
1. 點估計
通過構造統計量並將其相應的觀察值作爲
的觀察值.
1) 矩法估計
利用均值趨向於期望.通過利用X的K個Origin Moment來求得K個參數.
2) 極大似然法
利用"極大似然原理", 即如果一個事件有多個可能，那麼我們通常認爲概率最大的結果最有可能發生.
極大似然法就是利用極大似然原理，求觀察樣本同時發生的概率，是一個帶有參數的函數.然後求是得這個函數取得最大值的參數值。
這個估計值就稱爲極大似然估計值。
2. 估計量評判標準
通過估計量的波動方向，波動的大小以及波動的趨勢來衡量一個參數估計的好壞.
1) 無偏性.
當估計的參數的期望等於原來參數則稱爲無偏估計. (注意因爲估計的參數取決樣本的值，因此這裏我們考慮的是他的期望而不是他的某一次的取值.)
2) 有效性
參數的方差越小，也就是波動越小。則越有效.
其中有一個C-R不等式，C-R不等式的具體參考書.重點是裏面提到了一個I(X)，這個函數稱爲費爾希信息量，可以用來衡量總體模型所含的信息。
3) 一致性
即當n趨向於無窮大的時候，估計的參數值依概率趨近於實際參數.
3. 區間估計
是對估計的參數的一個準確衡量的方法.
置信區間、置信度、置信上下限.
七. 假設檢驗
當總體的分佈不清楚的時候，參數估計就失靈了。此時利用反證法和已知的一些分佈。引入了假設檢驗的方法，這種方法是基於概率角度上的反證法.
1. 假設檢驗的基本要素
1) 假設. 可以對某一個參數進行假設，也可以對整個分佈函數進行假設. 即參數假設檢驗和非參數假設檢驗.
2) 拒絕標準. 重點是確定概率閾值.
3) 拒絕域.
2. 假設檢驗分類
根據假設檢驗對取真還是取僞的偏向分爲顯著性檢驗跟另外一種檢驗. 常用的是顯著性檢驗.
顯著性檢驗就是指對取真進行保護，也就是不輕易拒絕原假設.
八. 後話
這裏僅僅用兩篇短短的日誌講概率論與數理統計的一些基本知識、方法和思想做了一個簡單的介紹，因爲 windows live writer 編輯公式有點麻煩。其中的很多細節和公式都沒有列出來。主要還是側重於
思想和方法的掌握. 這些知識是統計機器學習中的基礎，當然一些很細節的東西，如果你知道這個方法的話。回過來再好好的看看很容易上手的.