CNN——池化與誤差反向傳播

卷積神經網絡(CNN)

組成:輸入層、卷積層、激活函數、池化層、全連接層
卷積神經網絡中重要概念就:
深度:深度大小就等於所用的filter的個數[卷積層],也可以理解爲提取的層數。
權值共享:給一張輸入的圖片用同一個filter去提取,filter裏面的數據叫做權重,圖中每個位置都是由同一個filter掃描的因此權重一樣,也就是權值共享。
卷積:特徵提取
池化:特徵壓縮,壓縮方法有max法和mean


卷積神經網絡相對於神經網絡最重要的部分是卷積層跟池化層,這兩個概念其實也不難理解,卷積層就是在輸入層的基礎上對輸入的數據進行特徵提取,這個過程稱爲卷積。而池化層的作用簡單來說就是特徵壓縮。池化操作常用的又分爲兩個,一個是max操作另一個就是mean操作,下面我們會逐個講解。


池化層向前傳播的兩種方法:

在這裏插入圖片描述

反向傳播過程中池化操作[upsample]:

max法反向傳播的時候只需要知道正向傳播的時候傳進來的那個最大數據所在的位置,然後反向的時候直接恢復那個位置的數值,其他都爲零,可以理解爲其他的不重要可以忽略爲零。

1、前向傳播是max法
在這裏插入圖片描述
2、前向傳播是mean法

mean反向傳播的時候將數據平均化即可。
在這裏插入圖片描述


誤差反向傳播

首先我們要知道我們下面用到的【x】表示的是誤差傳播到結點的結果或損失函數對這個結點激活前的導數。

一、池化層的向上傳播[卷積層A激活函數—本池化層—卷積層B]

現在知道誤差傳播到本池化層的結果是【x+】,現在求誤差傳播到卷積層A的結果,從卷積層A到本池化層正向傳播時經歷了激活和池化兩個過程,所以反向的時候首先需要進行池化層的反正傳導,前面已經提過了然後就是需要對激活函數進行求導。公式推導見後面部分。
二、卷積層的向上傳播[池化層A—卷積層—池化層B]
已知誤差傳播到本卷積層的結果是【x】,現在求誤差傳播到池化層A的結果,由於池化層沒有激活(池化後的結果直接傳到下一層),因此從池化層A到卷積層只有池化操作,反向傳播時也就只有反向池化操作。


圖片展示:
因爲整張圖片上傳以後是橫着的,所以我就截成兩個了,誰會把整張圖上傳上去的希望能夠指導一下,謝謝。
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章