術語
- input layer(輸入層):如上圖，最左邊的一層
- input neurons(輸入神經元):在輸入層的neurons
- output layer(輸出層)：如上圖，最右邊的一層
- output neurons(輸出神經元)：在輸出層的neurons
- hidden layer(隱藏層)：如上圖，中間那層，既不是ouput也不是input
- multiple hidden layers:隱藏層允許有多層
歷史上，多層神經網絡也叫作多層perceptrons或者MLPs,儘管它是由sigmoid neurons組成的，而不是perceptrons。在這個系列裏，不會用MLPs，因爲會有二義性
feedForward neural networks:表示存在這樣的神經網絡，在某一層的ouput作爲下一層的input。這個神經網絡不允許有loops（圈，迴路，這個概念請參看圖論）
- recurrent neural networks:表示存在這樣的神經網絡，允許有loops。