人工神经网络感知模型及其传播

一、感知模型概述
感知机是一种基本的前馈式双层神经网络模型,也就是说感知机是没有隐层的,他仅由输入层和输出层组成,输入为实例的特征向量,输出为二分类的类别预测,如下图所示:
在这里插入图片描述
感知模型与前面我们讲到的神经网络模大致相同,通过权重及偏移等参数的训练,使其模型脱离线性。虽然感知机处理问题的能力有限,但其核心思想却在基于神经网络的众多改进模型中得到了广泛应用。

二、感知模型及其传播
感知机的整个学习过程由以下五个步骤组成,接下来进行详细阐述。
第一,在最开始的0时刻,初始化各个连接权重和输出节点的偏差,默认为-0.5~0.5之间均匀分布的随机数。
第二,输入训练样本。在t时刻根据样本输入变量值x与权重w运算,计算输出节点y的输出值。
第三,在任意t时刻,根据输出节点j的期望值y,计算输出节点j的期望值与输出值的误差e。
在这个过程中可具体分为分类与回归两种情况,对于二分类问题,输出节点[公式]的期望值与输出值均为类别值,若类别值错误预测为0,则e为1;若错误预测为1,则e为-1。对于回归问题,若输出值小于实际值,则e>0,反之则正好相反。
第四,调整第i个输入节点和第j个输出节点之间的连接权重,以及第j个输出节点的偏差权重。计算公式如下:
权重调整:
在这里插入图片描述
偏差调整:
在这里插入图片描述
在回归问题中,损失函数通常为预测误差的平方和:
在这里插入图片描述
在分类问题中,损失函数常采用节点输出值(即概率值)的交互熵:在这里插入图片描述

感知机模型的实例展示
接下来我们用一个简单的例子来展示上面的感知机计算过程,数据如下:在这里插入图片描述
从上面这个例子中可以看到,连接权重的调整是基于预测误差的,调整过程是超平面不断移动的过程。对于分类问题而言,如果当前的超平面将某一样本点错误划分,例如错判为0,误差为1,那么这是由于加法器结果过小所导致的,权重就应该加上一个正的调整项;反之则是由于加法器结果过小所导致,权重就应该加上一个负的调整项。调整项公式如下:
在这里插入图片描述
由此可见,超平面或回归平面的初始位置由网络的初始权值所决定,此时的模型无法做出准确的预测,在学习过程中,超平面会不断地向正确方向靠近。虽然其间正反方向的移动会相互抵消,但只要样本是线性可分的,在经历若干次迭代后,超平面的移动自然会减小,连接权重的调整也就会趋于稳定,此时调整过后的超平面就是我们所想要的。
到这里我们就不难发现,感知模型与神经网络模型都是需要经过大量的训练才能使得其从最初的线性逐渐调整到非线性,进而无限趋近于回归平面。最现实的例子就是我们经常谈论到的人脸识别、物体分辨等,这些实例在一些SDK中提供的就有,例如SNPE等等。

三、总结
在本节中,我们结合上节神经网络相关内容拓展到了感知模型,带领大家对此部分有了更为清晰的认知,下面我们开始学习了解权重值的优化。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章