周志華 《機器學習》之 第五章（神經網絡）概念總結

記得在讀研期間認真學習過神經網絡這門課程，當時老師講得也挺細的，自己當時覺得理論也學得還不錯，在結課的時候記得用BP神經網絡C++實現過一個簡單的驗證碼識別程序，所以對BP神經網絡理解還是有一定記憶的，今天看完周老師的這本機器學習書中講解的神經網絡，又對之前的學習做了一個回顧。雖然沒有哪門專門的課程哪門細緻，但是也足夠讓我瞭解到神經網絡應用到機器學習中的意義。特別是在最後小節中講述了深度學習，目前深度學習基本是人工智能領域最火的話題。因此我也專門賣了一本鄧力的那本《深度學習》書籍，想深入的進行了解。
話不多講，還是對周老師講解的神經網絡章節做個概念想的總結吧！
在本章中，周老師先從神經網絡中的基本單元，神經元模型將其，引入感知機和多層網絡的概念。在分別介紹目前最流行的神經網絡算法。接下來引入全局最小與局部最小的概要。
1、神經網絡：神經網絡是由具有適應性的簡單單元組成的廣泛互連的網絡，他的組織能夠模擬生物神經系統對真實世界物體所作出的交互反應。那麼在機器學習中所討論的神經網絡主要指的是神經網絡學習。
2、神經元模型：神經網絡中簡單單元就可以稱爲神經元。
3、感知機和多層網絡：感知機就是指由兩層神經元組成，輸入層接收外界輸入信號後傳遞給輸出層，輸出層是M-P神經元，也稱“閾值邏輯單元”。可以看出感知機是隻有一層功能神經元，因此學習能力非常有限，在解決一些複雜問題時，我們就需要提供多層的功能神經元去處理，也就是說在輸入層和輸出層之間加入一層功能神經元，這一層常常稱爲隱層。這樣隱層和輸出層都有了激活函數的功能神經元。
4、多層前饋神經網絡：每層神經元與下層神經元全互連，神經元之間不存在同層連接，也不存在跨層連接，稱爲“多層前饋神經網絡”。這種網絡中的輸入層神經元只接受輸入，不進行函數處理，隱層和輸出層包含功能神經元。
5、誤差逆傳播算法（BP）：先將輸入層輸入的數據提供給輸入層神經元，然後逐層將信號前傳，直到產生輸出層的結構；然後計算輸出層的誤差，再將誤差逆向傳播至隱層神經元，最後根據隱層神經元的誤差來對連接權和閾值進行調整，如此循環迭代，直到達到某些條件爲止。
注：BP算法的目標是要最小化訓練集D上的誤差積累，因此正因爲強大的表示能力，BP神經網絡經常出現過擬合，因此訓練誤差持續降低，而測試誤差逐漸升高。那麼常用“早停”和“正則化”兩種測量來解決過擬合問題。
6、全局最小與局部極小：
如何跳出局部最小？常用模擬退火技術、隨機梯度下降以及多組不同參數值初始化多個神經網絡三種手段進行緩解，跳出局部極小，從而進一步接近全局最小。
7、常見的神經網絡
徑向基函數（RBF）網絡、
自適應諧振理論（ART）網絡、
自組織映射（SOM）網絡、
級聯相關網絡、
遞歸神經網絡（Elman）、
Boltzmann機
8、深度學習
預訓練—微調訓練
局部尋優—全局尋優
參考文獻：http://blog.csdn.net/zouxy09/article/details/8775360