自組織神經網絡第一部分

自組織神經網絡介紹：自組織特徵映射SOM(Self-organizing feature Map)，第二部分

 自組織神經網絡介紹：自組織特徵映射SOM(Self-organizing feature Map)，第三部分

本文詳細介紹一下自組織神經網絡概念和原理，並重點介紹一下自組織特徵映射SOM網絡。SOM和現在流行的ANN（MLP）模型在結構上類似，都由非常簡單的神經元結構組成，但是SOM是一類“無監督學習”模型，一般的用法是將高維的input數據在低維的空間表示[1]，因此SOM天然是一種降維方法。除了降維，SOM還可以用於數據可視化，以及聚類等應用中。

1、背景：自組織（競爭型）神經網絡

SOM是一種自組織（競爭型）神經網絡，除了SOM外，其他常見的自組織（競爭型）神經網絡還有對偶傳播(Counter propagation)網絡，自適應共振理論（Adaptive Resonance Theory）網絡等。

生物學研究表明，在人腦的感覺通道上，神經元的組織原理是有序排列的。當外界的特定時空信息輸入時，大腦皮層的特定區域興奮，而且類似的外界信息在對應的區域是連續映像的。生物視網膜中有許多特定的細胞對特定的圖形比較敏感，當視網膜中有若干個接收單元同時受特定模式刺激時，就使大腦皮層中的特定神經元開始興奮，輸入模式接近，與之對應的興奮神經元也接近；在聽覺通道上，神經元在結構排列上與頻率的關係十分密切，對於某個頻率，特定的神經元具有最大的響應，位置相鄰的神經元具有相近的頻率特徵，而遠離的神經元具有的頻率特徵差別也較大。大腦皮層中神經元的這種響應特點不是先天安排好的，而是通過後天的學習自組織形成的[2]。（注：我認爲其中很大一部分是由無監督學習自發形成的）

在生物神經系統中，存在着一種側抑制現象，即一個神經細胞興奮以後，會對周圍其他神經細胞產生抑制作用。這種抑制作用會使神經細胞之間出現競爭，其結果是某些獲勝，而另一些則失敗。表現形式是獲勝神經細胞興奮，失敗神經細胞抑制。自組織（競爭型）神經網絡就是模擬上述生物神經系統功能的人工神經網絡[3]。

自組織（競爭型）神經網絡的結構及其學習規則與其他神經網絡相比有自己的特點。在網絡結構上，它一般是由輸入層和競爭層構成的兩層網絡；兩層之間各神經元實現雙向連接，而且網絡沒有隱含層。有時競爭層各神經元之間還存在橫向連接（注：上面說的特點只是根據傳統網絡設計來說的一般情況，隨着技術發展，尤其是深度學習技術的演進，我認爲這種簡單的自組織網絡也會有所改變，比如，變得更深，或者引入time series概念）。在學習算法上，它模擬生物神經元之間的興奮、協調與抑制、競爭作用的信息處理的動力學原理來指導網絡的學習與工作，而不像多層神經網絡(MLP)那樣是以網絡的誤差作爲算法的準則。競爭型神經網絡構成的基本思想是網絡的競爭層各神經元競爭對輸入模式響應的機會，最後僅有一個神經元成爲競爭的勝者。這一獲勝神經元則表示對輸入模式的分類[3]。因此，很容易把這樣的結果和聚類聯繫在一起。

2、競爭學習的概念與原理

一種自組織神經網絡的典型結構：如下圖，由輸入層和競爭層組成。主要用於完成的任務基本還是“分類”和“聚類”，前者有監督，後者無監督。聚類的時候也可以看成將目標樣本分類，只是是沒有任何先驗知識的，目的是將相似的樣本聚合在一起，而不相似的樣本分離。

說到這裏，一般的資料都會介紹一下歐式距離和餘弦相似度，我也會講一下基本的概念，更多距離計算方法可以參考我前面轉載介紹的《距離計算方法總結》，以及《機器學習距離公式總結》，尤其是後一篇，寫的不錯：）

最常見的距離（相似度）計算方法就是歐氏距離和餘弦相似度了，示意圖如下，我就不多講了。

歐式距離：

餘弦相似度：

很容易證明，當圖中X與Xi都是模爲1的單位向量時（其實不一定要1，只要是常數就行），歐氏距離等價於餘弦相似度（距離最小相似度越大），而餘弦相似度退化爲向量內積。

競爭學習規則——Winner-Take-All
網絡的輸出神經元之間相互競爭以求被激活，結果在每一時刻只有一個輸出神經元被激活。這個被激活的神經元稱爲競爭獲勝神經元，而其它神經元的狀態被抑制，故稱爲Winner Take All。

那麼如何尋找獲勝神經元？首先，對網絡當前輸入模式向量X和競爭層中各神經元對應的權重向量Wj（對應j神經元）全部進行歸一化，使得X和Wj模爲1；當網絡得到一個輸入模式向量X時，競爭層的所有神經元對應的權重向量均與其進行相似性比較，並將最相似的權重向量判爲競爭獲勝神經元。前面剛說過，歸一化後，相似度最大就是內積最大：