偏差(bias)方差(variance)平衡

偏差和方差的区别是一个经常在面试中被问到的问题,其区别可以用一下的图片来表示:


导致偏差的可能原因:
对问题本身的假设不正确:比如说对非线性数据使用线性回归,存在欠拟合现象。

导致高方差的可能原因:
数据的一点点扰动都可能会较大的影响模型,通常是由于模型太复杂引起:比如高阶多项式回归。也就是说存在过拟合现象,在训练数据表现很好,但是测试数据中表现很差。

通常两者是矛盾的,降低偏差就会提高方差,降低方差就会提高偏差。
在机器学习中的主要挑战,主要来自于方差。

关于泛化误差、偏差、方差和模型复杂度的关系如图所示(图片来自于百面机器学习):


一般来说降低高方差的几种方法:

1). 降低模型复杂度;
2). 降噪;
3). 增加样本数;
4). 模型正则化等等。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章