《數據挖掘：理論與算法》學習筆記（六）—神經網絡

感知機—神經網絡最基本的模型

感知機（perceptron）是二分類的線性分類模型，輸入爲實例的特徵向量，輸出爲實例的類別（取1和0）。感知機對應於輸入空間中將實例劃分爲兩類的分離超平面。感知機旨在求出該超平面.

其中，$w_0$ 是一個偏差值，這個條件是必要的，如果沒有這個條件，切平面會經過原點。我們需要這個偏差值控制決策平面到原點的距離。

下圖中感知機實現了與門和或門的功能

爲了求得合適的超平面，我們導入了基於誤分類的損失函數，利用梯度下降法 對損失函數進行最優化（最優化）。

但利用梯度下降算法收斂到正確的權值的前提條件是訓練的樣本線性可分

如果訓練的樣本線性不可分，我們需要藉助 $Delta$ 學習規則。
$Delta$ 的關鍵思想是：利用梯度下降來搜索可能的權向量的假設空間，以找到最佳擬合訓練樣例的權向量

其中，$t_d$ 是期望輸出，$o_t$ 是實際輸出。

批量梯度下降算法思路

隨機梯度下降算法

一個樣本更新一次參數

多層感知機

下面是異或門的分類，從圖中可以明顯看出，這是線性不可分的

我們用多層感知機把複雜的問題拆開，就能解決問題。
XOR的例子中輸出層映射到隱藏層後，就轉化爲了一個線性可分的問題。

其中，我們經常使用Sigmoid函數，它被用作神經網絡的閾值函數，將變量映射到0,1之間。

神經網絡的學習算法—反向傳播算法
誤差對權重求偏導

其他的一些神經網絡介紹

Elman神經網絡

Elman網絡可以看作是一個具有局部記憶單元和局部反饋連接的遞歸神經網絡

它的主要結構是前饋連接, 包括輸入層、 隱含層、 輸出層, 其連接權可以進行學習修正;反饋連接由一組“結構 ” 單元構成,用來記憶前一時刻的輸出值, 其連接權值是固定的。在這種網絡中, 除了普通的隱含層外, 還有一個特別的隱含層,稱爲關聯層 (或聯繫單元層 ) ;該層從隱含層接收反饋信號, 每一個隱含層節點都有一個與之對應的關聯層節點連接。關聯層的作用是通過聯接記憶將上一個時刻的隱層狀態連同當前時刻的網絡輸入一起作爲隱層的輸入, 相當於狀態反饋。隱層的傳遞函數仍爲某種非線性函數, 一般爲 Sigmoid函數, 輸出層爲線性函數, 關聯層也爲線性函數。

Hopfield神經網絡

Hopfield神經網絡是一種遞歸神經網絡