2018-7-20
感知機，PLA
多層感知機是由感知機推廣而來，感知機的神經網絡表示如下：
表達式：
從上述內容更可以看出，PLA是一個線性的二分類器，但不能對非線性的數據並不能進行有效的分類。因此便有了對網絡層次的加深，理論上，多層網絡可以模擬任何複雜的函數。
多層感知機，MLP
多層感知機（Multi-Layer perception）的一個重要特點就是多層，我們將第一層稱之爲輸入層，最後一層稱之有輸出層，中間的層稱之爲隱層。MLP並沒有規定隱層的數量，因此可以根據各自的需求選擇合適的隱層層數。且對於輸出層神經元的個數也沒有限制。 除了輸入層外，其餘的每層激活函數均採用 sigmod ，MLP 容易受到局部極小值與梯度彌散的困擾。
MLP神經網絡結構模型如下,本文中只涉及了一個隱層，輸入只有三個變量![\small [x_1,x_2,x_3]](https://pic1.xuehuaimg.com/proxy/csdn/https://private.codecogs.com/gif.latex?%5Cdpi%7B150%7D%20%5Csmall%20%5Bx_1%2Cx_2%2Cx_3%5D)
MLP的前向傳播
前向傳播指的是信息從第一層逐漸地向高層進行傳遞的過程。以下圖爲例來進行前向傳播的過程的分析。
假設第一層爲輸入層，輸入的信息爲
結合之前定義的字母標記，對於第二層的三個神經元的輸出則有：
將上述的式子轉換爲矩陣表達式：
![\small {\mathbf y_2}= \left[ \begin{array}{c}y_2^{(1)}\\y_2^{(2)}\\y_2^{(3)}\\ \end{array} \right]=f \left( \left[ \begin{array}{ccc} w_2^{11}&w_2^{12}&w_2^{13}\\ w_2^{21}&w_2^{22}&w_2^{23}\\ w_2^{31}&w_2^{32}&w_2^{33}\\ \end{array} \right] \left[ \begin{array}{c}x_1\\x_2\\x_3\\ \end{array} \right]+ \left[ \begin{array}{c}b_2^{(1)}\\b_2^{(2)}\\b_2^{(3)}\\ \end{array} \right] \right) =f({\mathbf {W_2X+b_2}})](https://pic1.xuehuaimg.com/proxy/csdn/https://private.codecogs.com/gif.latex?%5Cdpi%7B120%7D%20%5Csmall%20%7B%5Cmathbf%20y_2%7D%3D%20%5Cleft%5B%20%5Cbegin%7Barray%7D%7Bc%7Dy_2%5E%7B%281%29%7D%5C%5Cy_2%5E%7B%282%29%7D%5C%5Cy_2%5E%7B%283%29%7D%5C%5C%20%5Cend%7Barray%7D%20%5Cright%5D%3Df%20%5Cleft%28%20%5Cleft%5B%20%5Cbegin%7Barray%7D%7Bccc%7D%20w_2%5E%7B11%7D%26w_2%5E%7B12%7D%26w_2%5E%7B13%7D%5C%5C%20w_2%5E%7B21%7D%26w_2%5E%7B22%7D%26w_2%5E%7B23%7D%5C%5C%20w_2%5E%7B31%7D%26w_2%5E%7B32%7D%26w_2%5E%7B33%7D%5C%5C%20%5Cend%7Barray%7D%20%5Cright%5D%20%5Cleft%5B%20%5Cbegin%7Barray%7D%7Bc%7Dx_1%5C%5Cx_2%5C%5Cx_3%5C%5C%20%5Cend%7Barray%7D%20%5Cright%5D+%20%5Cleft%5B%20%5Cbegin%7Barray%7D%7Bc%7Db_2%5E%7B%281%29%7D%5C%5Cb_2%5E%7B%282%29%7D%5C%5Cb_2%5E%7B%283%29%7D%5C%5C%20%5Cend%7Barray%7D%20%5Cright%5D%20%5Cright%29%20%3Df%28%7B%5Cmathbf%20%7BW_2X+b_2%7D%7D%29)
將第二層的前向傳播計算過程推廣到網絡中的任意一層，則:
其中
反向傳播
使用反向傳播來調整MLP模型中的參數。由於存在多層的網絡結構，因此無法直接對中間的隱層利用損失來進行參數更新，但可以利用損失從頂層到底層的反向傳播來進行參數的估計。反向傳播的具體推倒明天再開一篇博客介紹。