机器学习大全

1 机器学习基础

（1）统计学习方法

• 【读书笔记】统计学习方法
• 【知识拓展】 风险模型之机器学习的损失函数

（2）机器学习分类

• 【知识拓展】机器学习分类
• 【知识拓展】机器学习算法汇总及常用指标总结

2 算法分类

按功能区分,机器学习分为四大块： classification (分类)， clustering (聚类), regression (回归), dimensionality reduction (降维)。

（1）监督学习

分类问题和回归问题
分类算法

1）回归（Regression）

（1）线性回归

（2）逻辑回归

（3）岭回归&Lasso回归

（4）CART回归

（5）Logistic Regression

（6）Softmax Regression

2）Factorization Machine

3）SVM支持向量机（Support Vector Machines）

4）SGD随机梯度下降算法

5）DTA决策树分类器（Decision Tree Algorithm）

• 【知识拓展】决策树算法原理及案例

（1）ID3

（2）C4.5

（3）CART

6）集成学习（Ensembling）

（1）bagging

① Random Forests 随机森林

• 【项目实战】：机器学习算法—随机森林实现（包括回归和分类）
• 【项目实战】：随机森林原理与sklearn 使用

（2）boosting

① Adaboost

② GBDT

③ XGBoost

（3）stacking

• K近邻算法KNN

5）Bayes贝叶斯

（2）无监督学习

聚类算法

1）K均值算法K-Means

2）Mean Shift

3）DBSCAN

4）Label Propagation

（3）强化学习

1）BP神经网络

（4）推荐算法

1）协同过滤算法

2）基于矩阵分解的推荐算法

3）基于图的推荐算法

• 【知识拓展】：推荐系统实战

（5）深度学习

1）AutoEncoder

2）卷积神经网络

马尔科夫
神经网络