神經網絡--感知機

• 神經網絡
  • 核心
    • 人造神經元
  • 組成
    • 加法器
      • 將所有輸入加權求和到神經元上
    • 激活函數
      • 一個處理單元，根據預定義函數產生一個輸出
    • 權值和閾值（偏置）
      • 通過不同的學習算法學習這些權重和閾值（偏置）

當只有一層這樣的神經元存在時，它被稱爲感知層

1. 輸入層被稱爲第零層，只有緩衝輸入
2. 輸出層的每個神經元都有自己的權重和閾值

當存在許多這樣的層時，網絡被稱爲多層感知層（MLP）

1. MLP有一個或多個隱藏層，這些隱藏層有不同數量的隱藏神經元

以上有4個神經元的輸入層，5個隱藏層，神經元分別有：4,5,6,4,3個；3個神經元的輸出層。在此MLP種，下層所有的神經元連接到相鄰的上層所有神經元，MLP也被稱爲全連接層，MLP中的信息流從輸入到輸出，沒有反饋或跳轉，這種網絡也被稱爲前饋網絡

正向傳播：輸入被饋送到網絡，信號從輸入層通過隱藏層傳輸到輸出層，在輸出層計算誤差和損失函數
反向傳播：在反向傳播中，首先計算輸出層神經元損失函數的梯度，然後計算隱藏層神經元損失函數的梯度

相關激活函數介紹、代碼和圖像：
激活函數