人工智能-深度學習筆記5 神經網絡的淺層概念或是說法

在上一篇的筆記中,使用了邏輯迴歸的示例展示了實現一個簡單神經網絡的些許技巧,下面來依然通過邏輯迴歸的示例闡述下有關神經網絡的一些說法或者稱之爲概念的東西吧。

 

1、神經網絡的表示(Neural Network Representation)

相信大家對上圖見得很多了,輸入層、隱藏層和輸出層也是一目瞭然另外。一般的啊,輸入那一層不算做神經網絡的一層的,所以上圖就是個兩層的神經網絡。輸入層,這個層面上類似於邏輯迴歸示例中的數據表示和處理的那段描述。輸出層在邏輯迴歸示例中將產生某個數值,只是一個單獨的實數,就是前向傳播後得到的結果。隱藏層的含義:在一個神經網絡中,當使用監督學習訓練它的時候,訓練集包含了輸入x也包含了目標輸出y,所以術語隱藏層的含義是在訓練集中,這些中間結點的準確值是不知道到的,也就是說看不見它們在訓練集中應具有的值。大家能看見輸入的值,也能看見輸出的值,但是隱藏層中的東西,在訓練集中是無法看到的。

那麼邏輯迴歸示例中的神經元有多少個呢?還記得對W權重的初始化麼?兩個,答案是兩個,大家思考下爲什麼不是三個呢,shape明明是3x1啊。邏輯迴歸示例算是一個只有一個隱藏層的神經網絡,這個隱藏層有兩個神經元。輸出層爲sigmoid的激活函數。神經網絡的計算就是前向傳播和反向傳播的計算過程。如此,神經網絡的這幾個概念上的東東應該有了比較清晰的認識了吧。

 

2、多樣本向量化(Vectorizing across multiple examples)

這是一個神經網絡在實現時用的比較多也比較重要的一個技巧了。首先看看向量化,其實就是特徵向量便於代碼實現,或者說同時爲了加速的一個方法。此處在思考下爲什麼隱藏層是兩個神經元。向量化的過程就是將神經網絡中的一層神經元參數縱向堆積起來,比如隱藏層中的w縱向堆積起來變成一個(3x1)的矩陣,其中一個是參數b。

然後來看看多樣本吧,邏輯迴歸示例中是將所有樣本利用向量化的技巧一起進行了運算,這也算是多樣本的一個特例吧,當然也是可以不用向量化而是增加一層for循環一個一個樣本計算的,這樣做的利弊呵呵了啊。也可以選擇一部分樣本送進神經網絡,也可以隨機的選擇一部分樣本送進神經網絡。至於多樣本的好處後續學習筆記中會慢慢體現的。

 

此篇的闡述離不開https://blog.csdn.net/chenleiyfk/article/details/88047397中的代碼示例,煩請結合代碼理解這些個概念上的東東。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章