人工神經網絡感知模型及其傳播

一、感知模型概述
感知機是一種基本的前饋式雙層神經網絡模型,也就是說感知機是沒有隱層的,他僅由輸入層和輸出層組成,輸入爲實例的特徵向量,輸出爲二分類的類別預測,如下圖所示:
在這裏插入圖片描述
感知模型與前面我們講到的神經網絡模大致相同,通過權重及偏移等參數的訓練,使其模型脫離線性。雖然感知機處理問題的能力有限,但其核心思想卻在基於神經網絡的衆多改進模型中得到了廣泛應用。

二、感知模型及其傳播
感知機的整個學習過程由以下五個步驟組成,接下來進行詳細闡述。
第一,在最開始的0時刻,初始化各個連接權重和輸出節點的偏差,默認爲-0.5~0.5之間均勻分佈的隨機數。
第二,輸入訓練樣本。在t時刻根據樣本輸入變量值x與權重w運算,計算輸出節點y的輸出值。
第三,在任意t時刻,根據輸出節點j的期望值y,計算輸出節點j的期望值與輸出值的誤差e。
在這個過程中可具體分爲分類與迴歸兩種情況,對於二分類問題,輸出節點[公式]的期望值與輸出值均爲類別值,若類別值錯誤預測爲0,則e爲1;若錯誤預測爲1,則e爲-1。對於迴歸問題,若輸出值小於實際值,則e>0,反之則正好相反。
第四,調整第i個輸入節點和第j個輸出節點之間的連接權重,以及第j個輸出節點的偏差權重。計算公式如下:
權重調整:
在這裏插入圖片描述
偏差調整:
在這裏插入圖片描述
在迴歸問題中,損失函數通常爲預測誤差的平方和:
在這裏插入圖片描述
在分類問題中,損失函數常採用節點輸出值(即概率值)的交互熵:在這裏插入圖片描述

感知機模型的實例展示
接下來我們用一個簡單的例子來展示上面的感知機計算過程,數據如下:在這裏插入圖片描述
從上面這個例子中可以看到,連接權重的調整是基於預測誤差的,調整過程是超平面不斷移動的過程。對於分類問題而言,如果當前的超平面將某一樣本點錯誤劃分,例如錯判爲0,誤差爲1,那麼這是由於加法器結果過小所導致的,權重就應該加上一個正的調整項;反之則是由於加法器結果過小所導致,權重就應該加上一個負的調整項。調整項公式如下:
在這裏插入圖片描述
由此可見,超平面或迴歸平面的初始位置由網絡的初始權值所決定,此時的模型無法做出準確的預測,在學習過程中,超平面會不斷地向正確方向靠近。雖然其間正反方向的移動會相互抵消,但只要樣本是線性可分的,在經歷若干次迭代後,超平面的移動自然會減小,連接權重的調整也就會趨於穩定,此時調整過後的超平面就是我們所想要的。
到這裏我們就不難發現,感知模型與神經網絡模型都是需要經過大量的訓練才能使得其從最初的線性逐漸調整到非線性,進而無限趨近於迴歸平面。最現實的例子就是我們經常談論到的人臉識別、物體分辨等,這些實例在一些SDK中提供的就有,例如SNPE等等。

三、總結
在本節中,我們結合上節神經網絡相關內容拓展到了感知模型,帶領大家對此部分有了更爲清晰的認知,下面我們開始學習瞭解權重值的優化。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章