神經網絡（neural networks）
【內容包含 第五章】
神經元模型
通過n個其他神經元傳過來的信號，加上權重，當前神經元的閾值進行比較，通過激活函數（activation function）處理，再輸出。
激活函數一般使用Sigmoid函數，和階躍函數相比，它連續、光滑。
感知器與多層網絡
感知器（Perceptron）由兩層神經元組成，輸出層爲M-P神經元，也稱 閾值邏輯單元（threshold logic unit）
輸出層爲
權重
其中
已被證明，如果兩類模型是線性可分的，那麼感知器的學習一定會收斂。
如果需要解決非線性可分問題，需要採用多層功能神經元，輸入層與輸出層之間存在隱含層（hidden layer），隱含層和輸出層神經元都是擁有激活函數的功能神經元。
多層前饋神經網絡（multi-layer feedforward neural networks）：每層神經元與下一層神經元全互連，不存在同層連接也不存在跨層連接的神經網絡
