GCN裏的權值共享

這裏寫圖片描述

雖然現在大多數的說法是2012年的AlexNet網絡是深度學習的開端,但是CNN的開端最早其實可以追溯到LeNet5模型,它的幾個特性在2010年初的卷積神經網絡研究中被廣泛的使用——其中一個就是權值共享

其實權值共享這個詞說全了就是整張圖片在使用同一個卷積核內的參數,比如一個3*3*1的卷積核,這個卷積核內9個的參數被整張圖共享,而不會因爲圖像內位置的不同而改變卷積核內的權係數。說的再直白一些,就是用一個卷積核不改變其內權係數的情況下卷積處理整張圖片(當然CNN中每一層不會只有一個卷積核的,這樣說只是爲了方便解釋而已)。

是的,就是這樣,很簡單的一個操作而已,這樣來說的話,其實圖像處理中的類似邊緣檢測,濾波操作等等都是在做全局共享,那麼爲什麼當時要把這個思路拿出來說明一下,然後又給它起了一個名字呢?
(以下部分是個人理解,如果有不對的地方,還望指正!!)
我們大部分人都是在後知後覺中發現這個問題很簡單,但是隻有大神才能做先驅者!LeNet首次把卷積的思想加入到神經網絡模型中,這是一項開創性的工作,而在此之前,神經網絡輸入的都是提取到的特徵而已,就比如想要做一個房價預測,我們選取了房屋面積,臥室個數等等數據作爲特徵。而將卷積核引入到了神經網絡去處理圖片後,自然而然就會出現一個問題,神經網絡的輸入是什麼?如果還是一個個像素點上的像素值的話,那就意味着每一個像素值都會對應一個權係數,這樣就帶來了兩個問題:
1.每一層都會有大量的參數
2.將像素值作爲輸入特徵本質上和傳統的神經網絡沒有區別,並沒有利用到圖像空間上的局部相關性。

而權值共享的卷積操作有效解決了這個問題,無論圖像的尺寸是多大,都可以選擇固定尺寸的卷積核,LeNet中最大的卷積核只有5*5*1,而在AlexNet中最大的卷積核也不過是11*11*3。而卷積操作保證了每一個像素都有一個權係數,只是這些係數是被整個圖片共享的,着大大減少了卷積核中的參數量。此外卷積操作利用了圖片空間上的局部相關性,這也就是CNN與傳統神經網絡或機器學習的一個最大的不同點,特徵的自動提取。
這也就是爲什麼卷積層往往會有多個卷積核(甚至幾十個,上百個),因爲權值共享後意味着每一個卷積核只能提取到一種特徵,爲了增加CNN的表達能力,當然需要多個核,不幸的是,它是一個Hyper-Parameter。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章