Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles

普通的机器学习分类回归问题都是点估计,即模型给出的输出是一个real value,或者是各个类别的probability。

但是模型对于不同点的估计,确信度应该是不同的。对于和以往出现过样本非常相似的点,给出的预测确信度比较高,对于和以往出现过点距离比较远的点的估计,确信度应该降低。

目前衡量神经网络结果不确定性的方法主要是贝叶斯神经网络,每一层的w和b都是服从一个分布而非是确定的值,所以自然,最后的估计结果可以由贝叶斯公式给出一个置信区间,从而给出不确定性的估计。

但是贝叶斯网络存在计算量大,复杂的问题。

本文给出一种机器学习的通用学习框架,来更好的训练模型,具体而言分三步。

1、确定一个合理的训练目标函数

2、使用对抗学习训练方法平滑预测函数

3、使用ensemble方法训练多个预测器

对于多个预测器,采用bootstrap的办法,抽样训练,最后模型的不确定性,由多个预测器给出的预测结果差异决定。

加入对抗学习的目的,好像文中没有说清楚,说了在e领域内让预测器稳定平滑,但这样是为了什么,没有交代的很清楚。

但也大概可以有个模糊的解释

这个图中最右是该方法的估计,可见,样本点上,各个模型相似,所以方差小,灰色宽度小,在样本外,各个模型给出预测差异大,宽度大。

于是乎,各种结果说明了该方法的有效性。

感觉作者想推广自己的方法,使之成为机器学习界通用的训练方法,但是,好像没啥动静。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章