自組織神經網絡 第二部分

1、SOM背景

1981年芬蘭Helsink大學的T.Kohonen教授提出一種自組織特徵映射網，簡稱SOM網，又稱Kohonen網。Kohonen認爲：一個神經網絡接受外界輸入模式時，將會分爲不同的對應區域，各區域對輸入模式具有不同的響應特徵，而且這個過程是自動完成的。自組織特徵映射正是根據這一看法提出來的，其特點與人腦的自組織特性相類似。

2、SOM典型結構

典型SOM網共有兩層，輸入層模擬感知外界輸入信息的視網膜，輸出層模擬做出響應的大腦皮層。（講之前再提醒一句，這裏介紹的只是經典形式，但是希望讀者和我自己不要被現有形式束縛了思維，當然初學者，包括我自己，先從基本形式開始理解吧）。 下圖是1維和2維的兩個SOM網絡示意圖。

SOM網的權值調整域
和上一節介紹的WTA策略不同，SOM網的獲勝神經元對其鄰近神經元的影響是由近及遠，由興奮逐漸轉變爲抑制，因此其學習算法中不僅獲勝神經元本身要調整權向量，它周圍的神經元在其影響下也要程度不同地調整權向量。這種調整可用三種函數表示，下圖的bcd。

Kohonen算法：基本思想是獲勝神經元對其鄰近神經元的影響是由近及遠，對附近神經元產生興奮影響逐漸變爲抑制。在SOM中，不僅獲勝神經元要訓練調整權值，它周圍的神經元也要不同程度調整權向量。常見的調整方式有如下幾種[2]：

• 墨西哥草帽函數：獲勝節點有最大的權值調整量，臨近的節點有稍小的調整量，離獲勝節點距離越大，權值調整量越小，直到某一距離0d時，權值調整量爲零；當距離再遠一些時，權值調整量稍負，更遠又回到零。如(b)所示
• 大禮帽函數：它是墨西哥草帽函數的一種簡化，如（c）所示。
• 廚師帽函數：它是大禮帽函數的一種簡化，如（d）所示。

以獲勝神經元爲中心設定一個鄰域半徑R，該半徑圈定的範圍稱爲優勝鄰域。在SOM網學習算法中，優
勝鄰域內的所有神經元均按其離開獲勝神經元的距離遠近不同程度地調整權值。 優勝鄰域開始定得很大，但其大小隨着訓練次數的增加不斷收縮，最終收縮到半徑爲零。

3、SOM Kohonen 學習算法

算法總結如下：

Kohonen學習算法

1. 初始化，對競爭層（也是輸出層）各神經元權重賦小隨機數初值，並進行歸一化處理，得到w^j,j=1,2,...mw^j,j=1,2,...m之間的拓撲距離N的函數，該函數一般有如下規律：
   

2. 結束檢查，查看學習率是否減小到0，或者以小於閾值。

第（5）點的規律是說，隨着時間（離散的訓練迭代次數）變長，學習率逐漸降低；隨着拓撲距離的增大，學習率降低。學習率函數的形式一般可以寫成這樣：η(t,N)=η(t)e−Nη(t,N)=η(t)e−N可採用t的單調下降函數也稱退火函數，比如下面這些形式都符合要求：

第（4）點中，j*的領域Nj∗(t)Nj∗(t)是隨時間逐漸收縮的，比如說下圖，其中8個鄰點稱爲Moore neighborhoods，6個鄰點的稱爲hexagonal grid。隨着t的增大，鄰域逐漸縮小。

本篇最後看一個SOM工作原理示意圖，首先給定訓練數據（綠點）和神經元權重初始值（紅花）

通過迭代訓練之後，神經元權重趨向於聚類中心；

Test階段，給定數據點（黃點），基於WTA策略，用內積直接算出和哪個神經元最相似就是分到哪個類。

算法流程總結

OK，本篇就到這裏，描述了SOM的基本原理與訓練方法；下一篇將講解SOM實際應用的例子，也是SOM介紹的最後一部分。

參考資料

[1] https://en.wikipedia.org/wiki/Self-organizing_map
[2] 百度文庫，《SOM自組織特徵映射神經網絡》
[3] 《第四章 自組織競爭型神經網絡》, PPT