簡單講兩句-卷積神經網絡- convolutional nets -

我要講的卷積神經網絡,思路來自於 Michal nilson 的網上教材,神經網絡與深度學習

如果您英文還行,請移步神經網絡與深度學習,相信看英文原文,會有更清楚的理解。

OK, 

假設你已經對神經網絡有一定的瞭解,知道“全連接”是什麼意思。而對卷積神經網絡的原理,過程等還有一些不清楚,希望下文我的理解可以幫到。


仍然以經典的 MINST 數據集(其中每個數字以28*28的矩陣表示) 手寫數字識別爲載體。聊一下卷積網絡的工作過程。

在一般的神經網絡中處理手寫數字識別時,有一句話,“只要保證把所有的數據圖片都按照同樣的方式

展開(將矩陣展開成一個向量),那麼你可以用任意的方式對矩陣進行展開而不會對網絡的分類結果有明顯影響”。

這句話隱含的意思是,

一般的全連接神經網絡,考慮的是輸入的全局信息,而非局部。

來到卷積神經網絡,首先,輸入不再是一個784(28*28)維的向量,而是一個28*28的矩陣。

我們不能對圖片矩陣進行任意展開。

卷即網絡中有三個重要的概念:

1. 感受野(local receptive fields)

2. 共享權重(shared weights)

3. 池化(pooling)。


下面依次介紹以上三個概念

1 感受野:

在卷積神經網絡中,我們的輸入層表示(對應輸入數據矩陣28*28)成如下形式:

                                                       

其中每個神經元(neuron)對應一個輸入矩陣的一個像素(pixel)值,

像在一般的神經網絡中一樣,我們需要把輸入層接到一個隱藏層上去,但在卷積網絡中,

這一層我們稱之爲卷積層。一個重要的不同點是,這次我們不是全連接,而是採用局部鏈接的方式。

也就是說,在卷積層(隱藏層)上的每一個神經元僅僅與輸入層中的一小部分神經元像連接,如圖:


在輸入層上表明的區域(一個5*5的方形區域)就叫做-卷積層神經元的感受野,是一個可調參數。


這個感受野就像是加在輸入的像素矩陣上的一個小窗口,這個窗口上的每一條連邊將會學習到一個權重(weight)

而隱藏層的神經元會學到一個偏置(bias)作用於隱藏層神經元的輸入。可以認爲,特定的隱藏層神經元是

用來學習分析它所對應的感受野種的像素所代表的事物。

我們在整個輸入矩陣上慢慢滑動感受野(通常從左上角開始),每次滑動一個或幾個像素(滑動幾個像素叫做步長:stride)

從左到右,從上到下。每一次,不同位置的感受野對應一個隱藏層(卷積層)上的神經元。

第一步,從左上角開始,移動感受野,每次移動一個像素點。

第二步,如圖

如此一直移動到右下角爲止。注意:如果我們的輸入時28x28,並且使用5x5的感受野,那麼對應的卷積層

將會有24x24個神經元(一時不理解可以再腦海中試着移動一下感受野,像是在一個方框裏面移動一個正方形的格子,格子不能出框)。


共享權值和偏置:

所謂共享權值,就是我們在一次卷積過程中,所有的感受野所對應的5x5個權值,取相同的25個數值。這樣

在很大程度上減少了卷積層所對應的可調參數數量。

而這樣做的道理在於:

我們的一個感受野,其實是用來感受某一個(只感受一個!!!就像一個濾波器,一個有色鏡片,只讓一種光透過來)

特徵的(比如說一段曲線,或者是一個拐角),這樣有時候稱輸入層到卷積層的映射爲“特徵映射”,而以權重相同的

感受野滑過整個輸入矩陣,得到的結果就是,這樣的特徵出現在整個輸入矩陣的某個或某幾個子區域(對應到

卷積層中的某一個神經元)。如果我們的卷積層僅僅感受一個特徵,那麼卷積層就是一個二維的矩陣,而如果

我們希望卷積層能夠感受多個(如,n個)特徵,那麼此時對應的卷積層就成了一個(24*14*n)的三維矩陣。

如圖,一個檢測三個特徵的卷積層,也可以擴展二十個,或者更多,實際應用中遠不止三個特徵。




一次卷積就是對輸入的像素矩陣的一次抽象,在卷積前,計算機瞭解到的僅僅是一個個像素值,一層卷積之後,

計算機知道,哦,這幾個地方是曲線,那幾個地方是直角。

由於每一維的卷積對應的所要檢測的局部特徵是固定的,所以當然可以對這一維的所有感受野實行權值共享。


對於第( j,k )個隱藏的神經元,輸出是:


這裏的 sigma(括號外面的符號 ) 是神經元的激勵函數,可以是sigmoid函數,softmax函數等。

w_(l,m)是5x5的共享權值,a_(x,y)表示對應(x,y)位置的輸入(這裏假定已經瞭解了神經網絡的基本結構)。


在每一層卷積之後,往往會跟一個池化層;

那麼什麼是池化呢? wait a moment.






++++++++++++++++++++++++++

繼續佔坑











發佈了38 篇原創文章 · 獲贊 22 · 訪問量 10萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章