神經網絡的結構： 神經元之間的連接方式
最常見：
- 前饋神經網絡 feedforward neural network
信息從輸入層流入，沿着一個方向通過隱藏層，直到輸出層。
如果有多個隱藏層，就成爲深度神經網絡。
They compute a series of transformations that change the similarities between cases.
在前一層相同的內容可能下一層就不同了。
所以每一層神經元信號的非線性輸出成爲下一層的輸入.
- 循環神經網絡 RNN（Recurrent Neural Networks）
信息在其中循環流動，該網絡可長時間記憶，表現出各種有趣的震盪，但相對更難訓練，結構更復雜。
比前饋神經網絡更強大。
圖中包含有向環路，意味着從一個神經元開始，沿着箭頭移動，有時候可能又回到了開始的神經元。
RNN動態變化非常複雜，更切合生物學。
多隱藏層的RNN是特例，隱藏層之間沒有互聯。
在每個時間戳使用相同的權重矩陣。
在每個時間戳獲取輸入同時產生輸出。
例子：RNN訓練的根據一些字符串預測下一個字符
對稱連接網絡 （symmetric interconnected network）
兩個神經元之間兩個方向的權重是相同的。
比RNN分析容易的多。
______________________________________________________________________
Perceptrons : The first generation of neural networks
感知器是統計學模式識別系統的典型例子。
給一些特徵分配權重，將權重之和與閾值比較，如果大於閾值，就是正面的例子。
AMAZING ！
如果存在這個權重，此方法就可以找到它。
___________________________________________________________________________________________
A geometrical view of perceptrons
Weight - Space 權值空間
空間的每個維度對應一個權值。
空間中的一個點代表了權值中的一個特定的設定。
去掉閾值，我們可以把所有訓練集當成權值空間中的一個穿過原點的超平面。
權值對應點，訓練案例對應平面
Each training case defines a plane.(black line)
這個平面穿過原點並且和輸入向量是正交的。
y = wTx 類比正比例函數
在平面的一邊，所有權重都是正確的。
就像 線性規劃 feasible region : 所有權重都準確的區域。
we will find a weight factor that not only gets every training case right , but it gets it right by
at least a certain margin , where the margin is as big as the input factor for that training case.——generously feasible weight vector
___________________________________________________________________________________
What perceptrons can't do
將前兩個不等式相加： w1+w2≥2θ
將後兩個不等式相加： w1+w2≤2θ
無法區分
not linearly separable
_____________________________________________________________________________________
Question:
