352.Nature長文綜述：類腦智能與脈衝神經網絡前沿
2019年11月28日普渡大學KaushikRoy、AkhileshJaiswal和PriyadarshiniPanda在《Nature》雜誌上（Nature575，607~617/2019）發表Towards Spike-basedmachine intelligence with neuromorphic Computing
摘要：本文概述神經形態計算在算法和硬件方面的發展，介紹學習和硬件框架的原理，以及神經形態計算的主要挑戰及發展前景、算法和硬件的協同設計等方面的內容。
導語：在人工智能如火如荼的今天，基於人腦的“脈衝”（Spiking）模擬計算框架下的脈衝神經網絡（SNN）、神經形態計算（neuromorphic computing）有望在實現人工智能的同時，降低計算平臺的能耗。這一跨學科領域以硅電路實現生物中的神經環路（circuit），現已發展到包括基於脈衝的編碼以及亊件驅動表示的算法的硬件實現。
目錄
一.算法展望
二.在SNNs中學習基於轉換的方法
三.其他有待研究的方向
四.硬件展望
五.算法-硬件協同設計
六.總結
附：參考文獻
353.創造具有類人腦的技術一直都是人工智能創新的源泉（nature（2019.11）類腦智能與脈衝神經網絡前沿一文摘要一）
從前科學家一直認爲人腦中的信息是通過不同的通道（channels）和頻率傳遞的，如今他們認爲人腦就像一臺計算機。隨着神經網絡的發展，今天計算機已在多個認知任務中展現出非凡能力。
人腦能夠執行驚人的任務（例如同時識別多個目標、推理、控制和移動），而能耗只有近2W，相比之下，標準計算機僅識別1000種不同的特體能耗就需要250w。儘管人腦尚未被探索窮盡，但人腦非凡能力歸結於三個基本觀察：廣泛的連通性，結構和動能化的組織層次，以及時間依賴（time dependent）的神經元突觸連接。
神經元（neurons）是人腦的計算原始元素，它通過離散動作電位（discreteaction potentials）或“脈衝”交換和傳遞信息。突觸C synapses）是記憶和學習的基本存儲元素。
人腦擁有數十億個神經元網絡，通過數萬億個突觸相互連接。基於脈衝的時間處理機制使得稀疏而有效的信息在人腦中傳遞。
目前最先進的人工智能總體使用的是這種受到人腦層次結構和神經突觸框架啓發的神經網絡。現代深度學習網絡（DLNs）本質上是層級結構的人造物，像人腦一樣用多個層級表徵潛在特徵，經過轉換形成的。像人腦層次結構那樣，各種硅基計算單元以層級方式排列，以實現高效的數據交換。儘管兩者在表面上有相似之處，但人腦和硅基計算機計算原理之間存在鮮明區別：①計算機中計算（處理單元）和存儲（存儲單元）是分離的，不同於人腦中計算（神經元）和存儲（突觸）是一體的，②受限於二維連接的計算機硬件，人腦中大量存在的三維連通性目前無法在硅基技術上模擬，③晶體管主要爲了構建確定性布爾（數字）電路開關，和人腦基於脈衝的事件驅動型隨機計算不同。
但是，使得“通用智能”（包括基於雲服務器到邊緣設備）無法實現的主要瓶頸是巨大能耗和吞吐量需求。
在人腦指引下，通過脈衝驅動通信從而實現了神經元-突觸計算的硬件系統將可以實現節能型機器智能。神經形態計算始於20世紀80年代晶體管仿照神經元和突觸的功能動作，之後迅速演化到包括事件驅動的計算本質（離散的“脈衝”人造物），最終在21世紀初期這種研究努力促進了大規模神經形態芯片的出現。
（待續）
354.建立一個突觸權重可調節的脈衝神經元模型
脈衝驅動型計算（SNNs）優缺點（nature2019.11類腦智能與脈衝神經網絡前沿一文摘要二）
今天算法設計師們正在積極探索（“學習”）脈衝驅動型計算的優缺點，去推動可擴展性、高效的“脈衝神經網絡”（spikingneural networks，SNN）。
我們可將神經形態計算領域描述爲一種協同工作，它在硬件和算法域兩者中權重相同，以實現脈衝型人工智能。談到“智能”（算法）方面，包括不同的學習機制（無監督以及基於脈衝的監督，或梯度下降方案），同時突出顯示要利用基於時空事件的表徵。算法有用於對抗硬件漏洞的魯棒性，可以實現能耗和精度之間的最佳平衡。
算法展望：脈衝神經網絡
按照神經元功能，將神經網絡分爲三個代際：①第一代被稱爲McCulloch-Pitt感知機，②第二代神經元單元增加了連續非線性（使其能計算一組連續輸出值），③第三代神經網絡主要使用“整合放電”（integrate-and-fire）型尖峯神經元，通過脈衝交換信息。
SNN使用信號的時間（脈衝）處理信息。脈衝本質上是二進制事件（0，1），SNNs中的神經元單元只有在接收或發出尖峯信號時才處於汪躍狀態，因此它是事件驅動型的，可以使其節省能耗。若無事件發生，SNNs單元則保持閒置狀態。SNN中的輸入值爲1或0，也減少了數字上的點積運算，減小了求和的計算量。
神經形態工程師的一個主要目標是：在利用基於事件（使用基於事件的傳感器）及數據驅動更新的同時，建立一個具有適當突觸可塑性（即突觸的權重調節）做脈衝神經元模型，從而實現高效識別、推理等智能應用。
SNNs最大優勢在於其能夠充分利用基於時空事件的信息。今天我們有相當成熟的神經形態傳感器來記錄環境實時的動態改變，這些動態感官數據可與SNNs的時間處理能力相結合，以實現低能耗的計算。
高效的SNNs框架結合基於脈衝的學習規劃，可以產生有效的訓練。
尖峯神經元可以實現非連續的信息傳遞，併發出不可微分的離散脈衝，它們不能使用基於梯京下降型的反向傳播技術（這是傳統神經網絡訓練的基礎）。
SNNs的缺點是在大多數學習任務中效果仍落後於第二代的深度學習。
SNNs還受限於基於脈衝的數據可用性。
SNNs訓練算法的識別性能是在現有靜態圖像的數據集上進行評估的（如CIFAR或ImageNet）。
355.本文總結
nature（2019.11）類腦智能與脈衝神經網絡前沿一文摘要三
神經形態計算（一種高效方式）
脈衝神經範式的算法含義
算法-硬件協同設計的跨層優化
基於脈衝的節能智能系統
如今，“智能化”已經成爲我們周圍所有學科的主題，本文闡述了神經形態計算作爲一種高效方式，通過硬件（計算）和算法（智能）的協同演化的方式來實現機器智能。
本文首先討論了脈衝神經範式的算法含義，這種範式使用事件驅動計算，而不是傳統深度學習範式中的數值計算。描寫了實現標準分類任務的學習規則（例如基於脈衝的梯度下降、無監督STDP和從深度學習到脈衝模型的轉換方法）的優點和侷限性。
未來的算法研究應該利用基於脈衝信號的信息處理的稀疏和時間動態特性；以及可以產生實時識別的互補神經形態學數據集；硬件開發應側重於事件驅動的計算、內存和計算單元的協調，以及模擬神經突觸的動態特徵。特別引人關注的是新興的非易失性技術，這項技術支持了原位混合信號的模擬計算。本文也討論了包含算法-硬件協同設計的跨層優化的前景。例如，利用算法適應性（局部學習）和硬件可行性（實現隨機脈衝）。
最後談到，基於傳統和新興設備構建基於脈衝的節能智能系統與當前無處不在的人工智能相比，兩者的前景其實是相吻合的。現在是我們該交換理念的時候了，通過設備、通路、架構和算法等多學科的努力，通過合作打造一臺真正節能且智能的機器。
356.與神經科學建立聯繫/神經形態計算的出現
nature（2019.11）類腦智能與脈衝神經網絡前沿一文摘要四
與神經科學建立聯繫
與神經科學的研究成果相結合，把這些抽象的結果應用到學習規則中，以提高學習效率。如Masquelier等人利用STDP和時間編碼模擬視覺神經皮層，他們發現不同的神經元能學習到不同的特徵，這一點類似卷積層學到不同的特徵。研究者把樹突學習和結構可塑性結合起來，把樹突的連接數作爲一個超參數，以此爲學習提供更多可能。SNN領域的一項互補研究是LSM（liquidstate machines）。LSM利用的是未經訓練、隨機鏈接的遞歸網絡框架，該網絡對序列識別任務表現卓著。但是在複雜的大規模任務上的表現能力仍有待提高。
神經形態計算的出現
在20世紀80年代，在生物神經系統領域，CarverMead設想了“更智能”、“更高效”的硅基計算機結構，他的工作代表了計算硬件領域的一種新的範式。Mead並不在意AND、OR等布爾運算。相反他利用金屬氧化物硅（MOS）晶體管在亞閾值區的電氣物理特性（電壓一 電流指數相關）來模擬指數神經元的動力學特徵。這樣的設備一通路協同設計是神經形態計算中最有趣的領域之一。
357.“超級大腦”芯片/憶阻點積
nature（2019.11）類腦智能與脈衝神經網絡前沿一文摘要五
“超級大腦”芯片
“超級大腦”芯片的特點是整合了百萬計的神經元和突觸，神經元和突觸提供了脈衝計算的能力。Neurogrid和TrueNorth分別是基於混合信號模擬電路和數字電路的兩種模型芯片。Neurogrid使用數字電路，因爲模擬電路容易積累錯誤，且芯片製造過程中錯誤影響也較大。設計神經網絡旨在幫助科學家模擬大腦活動，通過複雜的神經元運作機制一比如離子通道的開啓和關閉，以及突觸特有的生物行爲。相比而言，TrueNorth作爲一款神經芯片，目的是用於重要商業任務，例如使用SNN分類識別任務；而且TrueNorth是基於簡化的神經元突觸原型來設計的。
以TrueNorth爲例，主要特徵如下：
異步地址事件表示（Asynchronousadress event representation）：首先異步地址事件表示不同於傳統的芯片設計（所有的計算都按照全局時鐘進行），但是因爲SNN是稀疏的，僅當脈衝產生時纔要進行計算，所以異步事件拒動的計算模式更適合進行脈衝計算。
芯片網絡（networks-on-chip，NOCs）可以用於脈衝通信，NOCs就是芯片上的路由器網絡，通過時分複用技術用總線收發數據包。大規模芯片必須使用N0C，是因爲在硅片加工過程中，連接主要是二維的，在第三維度靈活程度有限。因此儘管使用了NOC，芯片的聯通程度仍然不能和大腦中的三維連通相比。包括TrueNorth在內的大規模數字神經芯片，如Loihi，已經展示除了SNN技術以外的應用效果。使得我們能更加接近生物仿真技術。不過，有限的連通性，NOC總線帶寬的限制，和全數字方法仍然需要進一步研究。
憶阻點積
作爲模擬計算的一個實例，憶阻點積（Memristivedotproducts）是實現原位神經形態計算的一種有前景的方法。可是表示點積的憶阻陣列中產生的電流既有空間依賴性又有數據依賴性，這使得交叉開關電路分析成爲一個非常複雜的問題。研究交叉開關電路非理想狀態的影響，探索減輕點積不準確影響的訓練方法的研究並不多，而且這些工作大部分集中在深度神經網絡而不是SNN中。然而我們可以合理假設，在這些工作中開發出的基本器件和電路的見解也能用於SNN的實現。現有工作需要精緻的設備一通路模擬運行，必須與訓練算法緊密耦合，以減少精度損失。基於最新設備的交叉開關陣列的理論模型，以及爲點積誤差建立理論邊界的努力，都將引起人們的關注。這將使算法設計者無需耗時、設計選代設備一通路一算法模擬，就能探索新的訓練算法，同時也能解決硬件不一致的問題。
358.阿里抗疫“AI黑科技”在日本落地
今天（4月3日）看到一則新聞：多家日媒點贊中國抗疫“黑科技”：阿里健康AI醫療技術落地日本醫院。
包括GlotechTrends、宮崎日日新聞、Gunosy、Infoseek在內的20餘家日本科技媒體，發文報導日本正在引進阿里健康（聯合阿里雲、達摩院）研發的新冠肺炎AI檢測技術：
20秒即可完成一次疑似新冠病例CT檢測、準確率達96%的前沿技術（此前已在中國近170家醫院上線）。
針對歐美確診案例出現井噴的原因，專家分析認爲，很可能跟“檢測瓶頸”和“醫療瓶頸”有關：各國檢測能力的擴大沒有趕上病毒感染面擴大的速度。
日媒的這條新聞似曾相識！其實有人早已在第258條跟貼留言中作了報導：2月15日阿里達摩院（聯合阿里雲）研發一套全新的AI診斷技術，可在20秒內對新冠肺炎疑似病例CT影像做出分析判斷，識別準確率達96%。有了AI加持，通過NLP自然語言處理回顧性數據，使用CNN卷積神經網絡訓練CT影像的識別網絡，AI可以快速鑑別和判讀新冠肺炎影像。
爲此我重複發出如上跟貼，一讚阿里AI專家研發抗疫AI科技的貢獻，二贊AI跟貼留言者（及編者）及時報導。
359.通過新冠肺炎戰役，中國在公共衛生領域最大規模應用AI信息技術，成爲數字醫療引領者
4月3日美國經濟學家戴維-戈德曼著文：這場新冠肺炎戰役，充分體現出中國是數字醫療引領者。
中國的舉措不是宣傳攻勢，而是技術模式的轉變，中國在公共衛生方面的成就是切切實實的。
從1月底開始，中國在疫情中正確做法應該成爲西方意識到在雙方競賽中已經到了落後的時刻！
中國最大規模地應用公共衛生領域的信息技術，並將其與常規公共衛生措施結合，包括對潛在的病毒攜帶者進行定位跟蹤，識別可能的感染節點，對14億人口中很大一部分人的生命特徵持續進行監測，以及使用智能手機應用軟件來管理個體隔離。
新冠肺炎疫情給了中國展示自已能力的機會，其結果令人震驚——以至於歐洲各大製藥公司都有意加入中國引領的這一醫療領域的新潮流。
360.深度學習的新利器——快速訓練的神經網絡PANN/P-network
P-network是一種新型的漸進式人工神經網絡，它將採用新的訓練方法提供更高效的訓練速度。
經典的人工神經網絡ANN的訓練主要受制於：ANN中每個突觸具有一個權重，而神經網絡ANN的訓練是通過對訓練圖像進行權重計算和校正來實現的，其訓練是通過大量的迭代進行的，訓練速度較慢；新的神經網絡P一network的設計方法是：其每個神經突觸都有多個校正權重，校正權重是由一個分配器根據信號的值來選擇的，因此不同輸入信號可啓動不同的權重，並將這些權重發送到與突觸相連約神經元。
如將P一network 訓練與典型的ANN訓練比較，在同樣精度下P一network訓練速度爲1ms，DNN爲22141ms，前者要快得多！
361.基於清華“天機”芯片，“靈汐科技”可實現自行車無人駕駛
“靈汐科技”是一家類腦芯片研發商（2018.1成立）
該自行車能夠追蹤移動目標，跟隨目標直行、轉彎、避障，車身搭載平衡傳感器確保車身不倒，根據情況靈敏調整，能夠進行語音識別，通過語音指令執行轉向、加速等多種操作。
“天機芯”是清華大學施路平教授團隊研發的全球首款異構融合類腦芯片（2019.8登上nature封面）。
362.目前AI專家研究中的四足“機器狗”還不具備“真實狗”的同樣能力
儘管“機器狗”的能力很強，但目前它們往往還無法與真實的動物相媲美！部分原因在於，因爲要直接從“真實狗”身上學習或模仿像它們一樣做各種動作是很難的。
谷歌與加州大學伯克利分校合作，企圖找到一種方法，使四足“機器狗”的動作能像“真實狗”一樣：輕盈小跑、跌倒奮起、敏捷動作。
在訓練過程中，要求專傢俱有高度洞察力，要對每一個技能進行冗長、細緻的觀察，不斷調整，而且要在正常的秩序中加入一點可控的混亂。通常狗的動作會被捕捉到，但對腳、關節等關鍵點要進行仔細追蹤，在數字模擬中這些點要被模擬成“機器狗”的樣子，研發虛擬版“機器狗”，嘗試用虛擬“機器狗”的動作模仿“真實狗”的動作，邊學邊改。
現在的問題是，真實世界不是一個二維平面，也沒有理想化的摩揸力規範，這就意味着未經修正的模擬步態會讓“機器狗”摔倒在地上。
研究人員要在模擬中在使用的物理參數中引入隨機性元素，並通過學習適應這種隨機性，尤其要進行額外的虛擬訓練。
目前“機器狗”的研發取得很大成績，但研究工作還在路上。
363.推動腦機接口技術發展，研發控制意念的讀心術
目前處於發展初級階段的腦機接口技術時不時冒出若干案例。加州大學伯克利分校的肯德里克-凱伊爲我們共享他收集到的資料：
一位美國的中風癱瘓患者志願接受腦機接口試驗，在他的大腦中植入一顆芯片，並將這顆芯片與筆記本電腦連接，使該患者最終學會如何利用意念編輯電子郵件、玩視頻遊戲和上網。
日本本田公司曾製造一個機器人，這時戴着頭盔的員工可通過意念控制機器人的活動。
凱伊說他們正在研究，：使腦機接口志願者從一大堆影像中識別他看到的特定影像，而且通過檢測其大腦活動可將這一影像還原。
凱伊還說，他已經研發出一個可以破解腦電波信號的電腦程序，他正在編訂一本“意念詞典”，助力研發控制意念的讀心術。