專題：機器學習進階之路——學習筆記整理

現將自己機器學習方面的學習筆記整理如下，後續還會繼續更新：

1. 機器學習基本概念
2. 監督學習、非監督學習、批量學習、在線學習、基於實例學習、基於模型學習
3. 經驗風險最小化與結構風險最小化
4. 模型評估與選擇（留出法、交叉驗證法、查全率、查準率、偏差、方差）
5. 線性迴歸原理推導與算法描述
6. 最優化方法：梯度下降法
7. 一文讀懂正則化與LASSO迴歸，Ridge迴歸
8. 邏輯斯蒂迴歸原理推導與求解
9. 多項邏輯斯蒂迴歸/softmax迴歸推導與求解
10. 決策樹生成與剪枝詳解
11. 決策樹詳解之分類與迴歸樹（CART）
12. 集成學習概述
13. Bagging與隨機森林原理與算法描述
14. Boosting與AdaBoost分類與迴歸原理詳解與公式推導
15. Stacking與K折交叉驗證
16. 深入剖析梯度提升決策樹(GBDT)分類與迴歸
17. LP距離、歐式距離、曼哈頓距離、切比雪夫距離
18. K近鄰法（KNN）與kd樹原理詳解
19. K-Means聚類及其變體
20. 深入剖析主成分分析（PCA）與協方差矩陣
21. 非線性降維與核主成分分析KPCA
22. 基於密度的聚類DBSCAN
23. 特徵選擇（過濾式、包裹式、嵌入式）
24. 感知機原理詳解
25. 神經網絡詳解
26. 拉格朗日乘子法
27. 二次規劃
28. 支持向量機原理與序列最小最優化算法SMO