A Cross-layer based mapping for spiking neural network onto network on chip

———————————————————————————————————————————————————————

  • 發表時間——2018.2
  • 作者——Yande Xiang,浙江大學(沒找到這位教授);孟建熠 復旦大學
  • 摘要——片上網絡提供基於分組和可擴展的互連結構,用於脈衝神經網絡。然而,現有的神經映射方法僅將羣體的所有神經元按順序分佈到片上網絡核心或附近核心。由於羣體之間沒有聯繫,基於羣體的映射會降低不同人之間的神經元間通信性能。

本文提出了一種基於Cross-Layer的神經映射方法,該方法將屬於相鄰層的突觸連接神經元映射到同一個片上網絡節點。爲了適應各種輸入模式,該策略還考慮了輸入脈衝率並重新映射神經元以提高映射效率。該方法有助於降低核心間通信成本。實驗結果證明了所提出的映射策略在脈衝傳輸延遲以及動態能量成本改善方面的有效結果。

———————————————————————————————————————————————————————

———————————————————————————————————————————————————————

1.介紹及相關工作

本文的主要貢獻包括:
(1)提出了一種基於神經網絡的神經映射策略,該策略採用跨層方法對神經元和突觸進行映射;
(2)提出了神經映射聚類機制,以保證同一聚類內的所有神經元都是相互連接的;
(3)提出了一種動態神經映射方法,該方法對於適應實時應用中的各種輸入模式具有重要意義。

2. 基於NoC的脈衝神經網絡系統模型

(1)脈衝神經元模型:採用LIF模型
(2)脈衝神經網絡模型:以有向圖表述的模型,全連接
(3)NoC模型:2D mesh NoC模型
(4)能量模型:計算耗能+通信耗能

3. 現存的神經映射方案及本文的策略

(1)現存:基於羣體的神經映射
(2)本文:

  • CLAMP策略(Cross-LAyer based neural MaPping)
    考慮到SNN網絡之間複雜而大規模的互連以及NoC中所採用的神經陣列結構,提出的基於跨層的映射策略試圖最小化總跳數,降低脈衝傳輸成本。因此,有必要將相互連接的脈衝神經元合併到同一個片上網絡核心中,使每個神經陣列內的脈衝傳輸增多,通過路由器之間的鏈路實現的脈衝傳輸減少。
    在這裏插入圖片描述
  • CLAMP策略中的神經集羣機制
    實現神經聚類機制的動機是儘可能減少基於NoC的SNN之間的總跳數,根據上述提出的神經映射策略,目前還無法保證被映射的神經元與最後幾個被映射的神經元之間存在突觸連接,它們可能只與最後一個映射神經元相連。通過神經集羣機制,同一神經集羣內的所有映射神經元完全互聯。
    挑選下一個要被映射的神經元時,不僅考慮是否與上一個被映射的神經元是否有突觸連接,還要考慮是否與自己同一個陣列內的其他已被映射的神經元是否有任何突觸連接。
    例:第k層的N2映射完之後,下一個將被映射的第k+1神經元要考慮到是否與N0\N2有連接。

在這裏插入圖片描述

  • 動態神經重映射
    上述提出的是基於神經元間連接的拓撲結構,在具體應用中是固定的。
    然而,在實時執行大規模的SNN應用程序時,如視覺對象識別,輸入模式是多種多樣的,相應的輸入層神經元會產生不同數量的脈衝,靜態神經映射不能很好地適應輸入脈衝速率的各種分佈。
    因此,根據特定的輸入模式動態地勾畫出輸入脈衝速率,並對神經元進行重構,以滿足脈衝傳輸效率和能量消耗的要求是十分必要的。

動態CLAMP(D-CLAMP)通過輸入神經層中神經元的輸入脈衝率來選擇神經元。 具有較高脈衝速率的非映射神經元更傾向於被選擇。當輸入脈衝模式改變時,可以選擇每兩個相鄰層的神經元進行重新映射。 在選擇合適的片上網絡核心來重新映射特定神經元之後,D-CLAMP估計這些核心中每個變化的神經元數量。 僅當核心中已更改的神經元數量超過給定閾值時,纔會在核心中執行重新映射過程,這有利於最小化重新映射開銷。

4.實驗結果

在手寫數字和邊緣提取的應用中,其神經元之間的互連類型不同,神經映射算法將峯值平均傳輸延遲降低了最大42.83%,動態能量最大降低了36.29%。

PS:這篇文章的#相關工作#方面總結得比較好

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章