传统机器学习-应用机器学习的建议(吴恩达机器学习笔记)

模型选择和训练、验证、测试集

训练集用最优化算法来得到最有的参数，验证集用来挑选超参数，测试集用来预估出泛化误差。

诊断偏差与方差

高偏差（欠拟合）：训练集误差大，测试集误差大

高方差（过拟合）：训练集误差小，测试集误差大

学习曲线

横轴：样本个数，纵轴：误差

接下来决定做什么

对待高偏差

• 增加特征
• 增加多项式特征
• 减小正则化参数

对待高方差

• 增大训练集
• 减少特征数
• 增大正则化参数

在监督学习中，很多监督学习算法的性能都非常相似，所以要更多的考虑构建这些算法时，所使用的数据量