統計學習又稱統計機器學習或機器學習，是基於數據構建概率統計模型從而對數據進行預測與分析的一類方法。通常如果一個系統能夠通過執行某些步驟而實現自身性能上的改進，我們就稱該過程爲學習。而機器學習的目的就在於讓計算機系統能夠在數據之上結合統計方法實現系統表現上的提升。《統計學習理論與方法（R語言版）》（2020年5月出版）一書（已收入清華大學出版社人工智能科學系列）內容涵蓋了各種流行的機器學習技術，系統而精煉地解釋了它們背後的基本原理。
本書從統計學觀點出發，以數理統計爲基礎，全面系統地介紹了統計機器學習的主要方法。內容涉及迴歸（線性迴歸、多項式迴歸、非線性迴歸、嶺迴歸，以及LASSO等）、分類（感知機、邏輯迴歸、樸素貝葉斯、決策樹、支持向量機、人工神經網絡等）、聚類（K均值、EM算法、密度聚類等）、蒙特卡洛採樣（拒絕採樣、自適應拒絕採樣、重要性採樣、吉布斯採樣和馬爾科夫鏈蒙特卡洛等）、降維與流形學習（SVD、PCA和MDS等），以及概率圖模型基礎等話題。此外，爲方便讀者自學，本書還扼要地介紹了機器學習中所必備的數學知識（包括概率論與數理統計、凸優化及泛函分析基礎等）。
本書主要涉及（但不限於）的內容有：
- 概率與數理統計基礎，其中統計分析方法涉及參數估計、假設檢驗、極大似然法、非參數檢驗（含列聯分析、符號檢驗、符號秩檢驗、秩和檢驗等）、方差分析方法等。
- 迴歸方法，包括線性迴歸、多元迴歸、多項式迴歸、非線性迴歸（含倒數模型、對數模型等）、嶺迴歸，以及LASSO等。
- 監督學習與分類方法，包括感知機、邏輯迴歸（含最大熵模型）、樸素貝葉斯、決策樹（含ID3、C4.5、CART）、支持向量機、人工神經網絡等。
- 無監督學習與聚類方法，包括K均值算法、EM算法（含高斯混合模型）、密度聚類中的DBSCAN算法等。
- 蒙特卡洛採樣方法，包括逆採樣、拒絕採樣、自適應拒絕採樣、重要性採樣、吉布斯採樣和馬爾科夫鏈蒙特卡洛等。
- 概率圖模型基礎，主要以貝葉斯網絡爲例進行介紹。
- 降維與流形學習，包括奇異值分解、主成分分析和多維標度法等。
- 附錄部分還簡述了機器學習中所必備的其他數學基礎，包括拉格朗日乘數法、詹森不等式與凸優化、多元函數最優化、泛函空間理論（在解釋核方法時會用到）等內容。
目錄
第1章 概率論基礎
1.1 基本概念
1.2 隨機變量數字特徵
- 1.2.1 期望
- 1.2.2 方差
- 1.2.3 矩與矩母函數
- 1.2.4 協方差與協方差矩陣
1.3 基本概率分佈模型
- 1.3.1 離散概率分佈
- 1.3.2 連續概率分佈
- 1.3.3 在R中使用內嵌分佈
1.4 概率論中的重要定理
- 1.4.1 大數定理
- 1.4.2 中央極限定理
1.5 經驗分佈函數
第2章 統計推斷
2.1 參數估計
- 2.1.1 參數估計的基本原理
- 2.1.2 單總體參數區間估計
- 2.1.3 雙總體均值差的估計
- 2.1.4 雙總體比例差的估計
2.2 假設檢驗
- 2.2.1 基本概念
- 2.2.2 兩類錯誤
- 2.2.3 均值檢驗
2.3 極大似然估計
- 2.3.1 極大似然法的基本原理
- 2.3.2 求極大似然估計的方法
- 2.3.3 極大似然估計應用舉例
第3章 採樣方法
3.1 蒙特卡洛法求定積分
- 3.1.1 無意識統計學家法則
- 3.1.2 投點法
- 3.1.3 期望法
3.2 蒙特卡洛採樣
- 3.2.1 逆採樣
- 3.2.2 博克斯-穆勒變換
- 3.2.3 拒絕採樣與自適應拒絕採樣
3.3 矩陣的極限與馬爾科夫鏈
3.4 查普曼-柯爾莫哥洛夫等式
3.5 馬爾科夫鏈蒙特卡洛
- 3.5.1 重要性採樣
- 3.5.2 馬爾科夫鏈蒙特卡洛的基本概念
- 3.5.3 Metropolis-Hastings算法
- 3.5.4 Gibbs採樣
第4章 非參數檢驗方法
4.1 列聯分析
- 4.1.1 類別數據與列聯表
- 4.1.2 皮爾遜(Pearson)的卡方檢驗
- 4.1.3 列聯分析應用條件
- 4.1.4 費希爾(Fisher)的確切檢驗
4.2 符號檢驗
4.3 威爾科克森符號秩檢驗
4.4 威爾科克森的秩和檢驗
4.5 克魯斯卡爾-沃利斯檢驗
第5章 一元線性迴歸
5.1 迴歸分析的性質
5.2 迴歸的基本概念
- 5.2.1 總體的迴歸函數
- 5.2.2 隨機干擾的意義
- 5.2.3 樣本的迴歸函數
5.3 迴歸模型的估計
- 5.3.1 普通最小二乘法原理
- 5.3.2 一元線性迴歸的應用
- 5.3.3 經典模型的基本假定
- 5.3.4 總體方差的無偏估計
- 5.3.5 估計參數的概率分佈
5.4 正態條件下的模型檢驗
- 5.4.1 擬合優度的檢驗
- 5.4.2 整體性假定檢驗
- 5.4.3 單個參數的檢驗
5.5 一元線性迴歸模型預測
- 5.5.1 點預測
- 5.5.2 區間預測
第6章 多元線性迴歸
6.1 多元線性迴歸模型
6.2 多元迴歸模型估計
- 6.2.1 最小二乘估計量
- 6.2.2 多元迴歸的實例
- 6.2.3 總體參數估計量
6.3 從線性代數角度理解最小二乘
- 6.3.1 最小二乘問題的通解
- 6.3.2 最小二乘問題的計算
6.4 多元迴歸模型檢驗
- 6.4.1 線性迴歸的顯著性
- 6.4.2 迴歸係數的顯著性
6.5 多元線性迴歸模型預測
6.6 格蘭傑因果關係檢驗
第7章 線性迴歸進階
7.1 更多回歸模型函數形式
- 7.1.1 雙對數模型以及生產函數
- 7.1.2 倒數模型與菲利普斯曲線
- 7.1.3 多項式迴歸模型及其分析
7.2 迴歸模型的評估與選擇
- 7.2.1 嵌套模型選擇
- 7.2.2 赤池信息準則
- 7.2.3 逐步迴歸方法
7.3 現代迴歸方法的新進展
- 7.3.1 多重共線性
- 7.3.2 嶺迴歸
- 7.3.3 從嶺迴歸到LASSO
- 7.3.4 正則化
第8章 方差分析方法
8.1 方差分析的基本概念
8.2 單因素方差分析方法
- 8.2.1 基本原理
- 8.2.2 分析步驟
- 8.2.3 強度測量
8.3 雙因素方差分析方法
- 8.3.1 無交互作用的分析
- 8.3.2 有交互作用的分析
8.4 多重比較
- 8.4.1 多重t檢驗
- 8.4.2 Dunnett檢驗
- 8.4.3 Tukey的HSD檢驗
- 8.4.4 Newman-Keuls檢驗
8.5 方差齊性的檢驗方法
- 8.5.1 Bartlett檢驗法
- 8.5.2 Levene檢驗法
第9章 邏輯迴歸與最大熵模型
9.1 邏輯迴歸
9.2 牛頓法解Logistic迴歸
9.3 多元邏輯迴歸
9.4 最大熵模型
- 9.4.1 最大熵原理
- 9.4.2 約束條件
- 9.4.3 模型推導
- 9.4.4 極大似然估計
第10章 聚類分析
10.1 聚類的概念
10.2 K均值算法
- 10.2.1 距離度量
- 10.2.2 算法描述
- 10.2.3 數據分析實例
- 10.2.4 圖像處理應用舉例
10.3 最大期望算法
- 10.3.1 算法原理
- 10.3.2 收斂探討
10.4 高斯混合模型
- 10.4.1 模型推導
- 10.4.2 應用實例
10.5 密度聚類與DBSCAN算法
第11章 支持向量機
11.1 線性可分的支持向量機
- 11.1.1 函數距離與幾何距離
- 11.1.2 最大間隔分類器
- 11.1.3 拉格朗日乘數法
- 11.1.4 對偶問題的求解
11.2 鬆弛因子與軟間隔模型
11.3 非線性支持向量機方法
- 11.3.1 從更高維度上分類
- 11.3.2 非線性核函數方法
- 11.3.3 機器學習中的核方法
- 11.3.4 默瑟定理
11.4對數據進行分類的實踐
- 11.4.1 基本建模函數
- 11.4.2 分析建模結果
第12章 貝葉斯推斷
12.1 貝葉斯公式與邊緣分佈
12.2 貝葉斯推斷中的重要概念
- 12.2.1 先驗概率與後驗概率
- 12.2.2 共軛分佈
12.3 樸素貝葉斯分類器
12.4 貝葉斯網絡
- 12.4.1 基本結構單元
- 12.4.2 模型推理
12.5 貝葉斯推斷的應用舉例
第13章 降維與流形學習
13.1 主成分分析(PCA)
13.2 奇異值分解(SVD)
- 13.2.1 一個基本的認識
- 13.2.2 爲什麼可以做SVD
- 13.2.3 SVD與PCA的關係
- 13.2.4 應用舉例與矩陣的僞逆
13.3 多維標度法(MDS)
第14章 決策樹
14.1 決策樹基礎
- 14.1.1 Hunt算法
- 14.1.2 基尼測度與劃分
- 14.1.3 信息熵與信息增益
- 14.1.4 分類誤差
14.2 決策樹進階
- 14.2.1 ID3算法
- 14.2.2 C4.5算法
14.3 分類迴歸樹
14.4 決策樹剪枝
- 14.4.1 沒有免費午餐原理
- 14.4.2 剪枝方法
14.5 分類器的評估
第15章 人工神經網絡
15.1 從感知機開始
- 15.1.1 感知機模型
- 15.1.2 感知機學習
- 15.1.3 多層感知機
15.2 基本神經網絡
- 15.2.1 神經網絡結構
- 15.2.2 符號標記說明
- 15.2.3 後向傳播算法
15.3 神經網絡實踐
- 15.3.1 核心函數介紹
- 15.3.2 應用分析實踐
附錄A 必不可少的數學基礎
A.1 泰勒公式
A.2 海塞矩陣
A.3 凸函數與詹森不等式
- A.3.1 凸函數的概念
- A.3.2 詹森不等式及其證明
- A.3.3 詹森不等式的應用
A.4 泛函與抽象空間
- A.4.1 線性空間
- A.4.2 距離空間
- A.4.3 賦範空間
- A.4.4 巴拿赫空間
- A.4.5 內積空間
- A.4.6 希爾伯特空間
A.5 從泛函到變分法
- A.5.1 理解泛函的概念
- A.5.2 關於變分的概念
- A.5.3 變分法的基本方程
- A.5.4 哈密爾頓原理
- A.5.5 等式約束下的變分