機器學習筆記

機器學習筆記

簡介

作者：李金 
版本：0.0.1
郵件：[email protected]

機器學習筆記，使用 jupyter notebook (ipython notebook) 進行展示。

Github 加載 .ipynb 的速度較慢，建議在 Nbviewer 中查看該項目。

---

目錄

第一部分來自 Bishop 的經典書籍 Pattern Recognition and Machine Learning。

第二部分來自 Bengio 的最新書籍 Deep Learning。

第一部分 PRML 筆記

• 1. 簡介
  • 1.1. 例子：多項式擬合
  • 1.2. 概率論
    • 1.2.1. 概率密度函數
    • 1.2.2. 期望和方差
    • 1.2.3. Bayes 概率
    • 1.2.4. 高斯分佈
    • 1.2.5. 重新理解曲線擬合
    • 1.2.6. Bayes 曲線擬合
  • 1.3. 模型選擇
  • 1.4. 維數災難
  • 1.5. 決策理論
    • 1.5.1. 最小錯誤率決策
    • 1.5.2. 最小風險決策
    • 1.5.3. 拒絕選項
    • 1.5.4. 推斷和決策
    • 1.5.5. 迴歸問題的損失函數
  • 附錄 D 變分法
  • 1.6. 信息論
    • 1.6.1. 相對熵和互信息
  • 附錄 E Lagrange 乘子
• 2. 概率分佈
  • 2.1. 二元變量
    • 2.1.1. Beta 分佈
  • 2.2. 多元變量
    • 2.2.1. 狄利克雷分佈
  • 2.3. 高斯分佈
    • 2.3.1. 條件高斯分佈
    • 2.3.2. 邊緣高斯分佈
    • 2.3.3. 高斯變量的貝葉斯理論
    • 2.3.4. 高斯分佈最大似然
    • 2.3.5. 序列估計
    • 2.3.6. 高斯分佈的貝葉斯估計
    • 2.3.7. 學生 t 分佈
    • 2.3.8. 週期變量和 von Mises 分佈
    • 2.3.9. 高斯混合模型
  • 2.4. 指數族分佈
    • 2.4.1. 最大似然和充分統計量
    • 2.4.2. 共軛先驗
    • 2.4.3. 無信息先驗
  • 2.5. 非參數方法
    • 2.5.1. 核密度估計量
    • 2.5.2. 近鄰方法
• 3. 線性迴歸模型
  • 3.1. 線性基函數迴歸模型
    • 3.1.1. 最大似然和最小二乘
    • 3.1.2. 最小二乘的幾何表示
    • 3.1.3. 序貫學習
    • 3.1.4. 帶正則的最小二乘
    • 3.1.5. 多維輸出
  • 3.2 Bias-Variance 分解
  • 3.3 Bayes 線性迴歸
    • 3.3.1. 參數的分佈
    • 3.3.2. 預測值的分佈
    • 3.3.3. 等價核
  • 3.4 貝葉斯模型的比較
• 4. 線性分類模型
  • 4.1 判別函數

第二部分 DP 筆記

• I 數學和機器學習基礎
  • 2. 線性代數
    • 2.1 標量，向量，矩陣和張量
    • 2.2 矩陣乘法
    • 2.2 單位矩陣和逆
    • 2.4 線性無關和生成空間
    • 2.5 範數
    • 2.6 特殊矩陣和向量
    • 2.7 特徵值分解
    • 2.8 奇異值分解
    • 2.9 Moore-Penrose 僞逆
    • 2.10 矩陣的跡
    • 2.11 行列式
    • 2.12 例子：主成分分析

---

參考資料和文獻：

[1] Christopher, M. Bishop. "Pattern recognition and machine learning." Company New York 16.4 (2006): 049901.

[2] Goodfellow I, Bengio Y, Courville A. Deep learning[J]. 2015, 2016.