第六週【任務1】簽到作業 過兒--《深度學習》花書訓練營【第五期】

a. 卷積操作的本質特性包括稀疏交互和參數共享,具體解釋這兩種特性及其作用。

  1. 稀疏交互(Sparse Interaction)
     

傳統神經網絡採用全連接方式,網絡層的輸入與輸出之間的連接關係由一個權值矩陣表示,其中每一個參數表示前後層中某兩個神經元節點之間的交互。對於全連接網絡,任意一個輸入節點均與輸出節點產生交互,由此形成稠密的連接關係。

而稀疏交互,則是指,任意輸出節點至於前一層特定的區域的節點產生交互,我們稱其爲稀疏交互(sparse interaction)。

preview

 

 

2.參數共享(Parameter Sharing)

參數共享是指在同一個模型的不同模塊中使用相同的參數,它是卷積運算的 固有屬性。全連接網絡中,計算每層的輸出時,權值參數矩陣中的每個元素只作用於某個輸入元素一次;而在卷積神經網絡中,卷積核中的每一個元素將作用於 每一次局部輸入的特定位置上。根據參數共享的思想,我們只需要學習一組參數集合,而不需要針對每個位置的每個參數都進行優化,從而大大降低了模型的存 儲需求。

 

參考資料:

百面機器學習筆記 | 第九章:前向神經網絡 | 05 深度卷積神經網絡 (CNN)


b. 關於最大池化層,以下哪一項是正確的?

i.  It allows a neuron in a network to have information about features in a larger part of the image, compared to a neuron at the same depth in a network without max pooling.

ii.   It increases the number of parameters when compared to a similar network without max pooling.

iii.  It increases the sensitivity of the network towards the position of features within an image.

答: iii

 

學習期間不對結果的正確性做100%保證,僅供參考

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章