经验误差与过拟合
错误率:m个样本中有a个样本分类错误:
精度:
误差:实际预测输出与样本真实输出之间的差异
- 训练集上:训练误差(training error)
- 新样本上:泛化误差(generalization error)
过拟合:学习性能太好,把样本本身独有的特点学到,NPhard问题,难解决。
欠拟合:学习性能不好。
评估方法
留出法
把数据集D分为两个互补的集合S和T。S用来训练模型,T用来评估测试误差。
注意:
- 训练/测试集划分尽量保持数据分布的一致性。
- 及时在给定训练/测试集的样本比例后,任存在许多划分方式
- 一般取若干次随机划分,重复进行实验评估后取平均值作为留出法结果。
交叉验证法
D划分为K个互不相交的集合
k一般取10,称为10折交叉验证.
重复做p次,则有p次k折交叉验证。
留一法:k=m.结果往往认为比较准确,但计算开销大(m个样本,则要训练m个模型)
自助法
D中采样,选取一个样本拷贝到D’中,然后再把这个样本放回D中。重复m次,得到D’.用D’作为训练集,用D/D’作为测试集。
这里,由于D中一个样本始终不被采到的概率为:
优点:
- D较小时,难以划分S/T时很有用
- 能从D中产生多个不同的S对集成学习有很大好处
缺点:
- 改变了初始数据集的分布,引入了估计偏差
调参与最终模型
模型选择完成后重新训练整个D得到最终模型
性能度量
学习期结果
均方误差:回归任务中,均方误差表示为
对于数据分布
待续