2020-5-6 吳恩達-NN&DL-w3 淺層NN(3.2 神經網絡表示)

1.視頻網站：mooc慕課https://mooc.study.163.com/university/deeplearning_ai#/c
2.詳細筆記網站(中文)：http://www.ai-start.com/dl2017/
3.github課件+作業+答案：https://github.com/stormstone/deeplearning.ai

3.2 神經網絡表示 Neural Network Representation

觀察下圖

這是隻包含一個隱藏層的NN。定義如下

• 圖中左邊的輸入特徵x₁、x₂、x₃，它們被豎直地堆疊起來，這叫做神經網絡的輸入層Input layer。它包含了神經網絡的輸入。
• 圖中中間的4個節點，是NN的隱藏層hidden layer。
  在一個NN中，當你使用監督學習訓練它的時候，訓練集包含了輸入x和目標輸出y。“隱藏”的意思是，訓練集合中，我們不知道中間節點的真正數值，也就是說你能看到輸入和輸出值，但是在訓練集中看不到隱藏層的數值。
• 圖中右邊只有一個節點，是NN的輸出層output layer。它負責輸出預測值$\hat y$。

符號約定

• a^[i]表示輸入特徵。a也表示激活的意思，它表示不同層的值會傳遞給後面的層。
  • 我們將輸入層的激活值稱爲a^[0]。
  • 隱藏層的激活值稱爲a^[1]。
    • 隱藏層第1個節點或者說單元表示爲$a_1^{[1]}$
    • 第2個節點或者說單元表示爲$a_2^{[1]}$
    • 依次類推，所以a^[1]是一個4x1矩陣，代表4個隱藏單元。$a^{[1]}=\begin{bmatrix} a_1^{[1]} \\ a_2^{[1]} \\ a_3^{[1]} \\ a_4^{[1]} \\ \end{bmatrix}$
  • 最後輸出層將產生某個數值a^[2]，它只是一個實數。$\hat y =a^{[2]}$

總結：NN中會用方括號上標來表示值來自哪一層。

在上面例子中，使用的是雙層NN。這是因爲計算NN的層數時，輸入層不算在總層數中，所以隱藏層纔是第一層。我們約定輸入層是第零層。在技術上，這仍然是一個三層的神經網絡，因爲這裏有輸入層、隱藏層，還有輸出層。

最後，我們要看到的隱藏層以及最後的輸出層是帶有參數的，這裏的隱藏層將擁有兩個參數W和b。使用上標[1] ($W^{[1]}$和$b^{[1]}$) 來表示這些參數是和第一層隱藏層有關係的。我們會看到W是一個4x3的矩陣，4表示有四個結點或隱藏層單元，3表示有三個輸入特徵。b是一個4x1的矩陣。

類似的，輸出層也有一些與之關聯的參數 $W^{[2]}$，1x4矩陣，1表示只有1個節點，4表示有4個輸入特徵。$b^{[2]}$，1x1矩陣。