針對《評人工智能如何走向新階段》一文,繼續發佈國內外的跟貼留言487-502條如下:

487,優選脈衝神經網絡(SNN)的不同訓練方法以改善其特性(計算效率、準確性、推理延時)。

脈衝神經網絡(SNN),通常被稱爲第三代神經網絡,它使用稀疏脈衝事件在時間上對輸入信息進行編碼,可以利用它們來實現認知任務的更高計算效率。但考慮到最新的模擬神經網絡(ANN)所帶來的準確性的飛躍,SNN訓練算法的成熟度要低得多,從而導致了SNN和ANN之間的準確性差距。論文提出了不同的SNN訓練方法,其生物保真度不相同,並評估了它們在複雜圖像識別數據集上的功效。首先,論文針對SNN中無監督的表示學習提出基於生物學上合理的峯值定時依賴可塑性(STDP)的確定性和隨機算法。論文中對CIFAR—10數據集的分析表明,基於STDP的學習規則使卷積層可以使用更少的訓練示例來自學習底層輸入特徵。但是基於STDP的學習在適用淺層SNN(≤4層)時會受到論文提出了一種轉換方法,以將現成的經過訓練的ANN映射到SNN,以實現節能推斷。論文在ImageNet上展示了ⅤGG16-SNN的69.96%的準確性。但是,ANN到SNN的轉換會導致較高的推理延遲,以實現最佳精度。爲了使推理延遲最小化,論文提出了基於峯值的誤差反向傳播算法,該算法使用脈衝神經元的可微近似。論文在CIFAR-10上進行的初步實驗表明,與轉換後的SNN相比,基於脈衝的錯誤反向傳播可以有效地捕獲時間統計信息,從而將推理延遲降低多達8倍。

本論文發表在《IEEE》期刊上

https://ieeexplore.ieee.org/abstract/document/9053914

 

488,麻省理工開發基於人工智能的快速篩選方法用於開發新材料及應用於複雜材料分析。

美國麻省理工學院研究人員開發了一種快速篩選系統,以測試數十億種潛在材料的抗斷裂性。對於開發新材料或保護塗層的工程師而言,有數十億種不同的可能性可供選擇。在實驗室中,如果使用計算機模擬確定材料的確切屬性,驗證過程可能要花費數小時、數天甚至更多的時間。現在麻省理工學院開發的一種基於人工智能的方法可以將測試時間減少到幾毫秒,從而可以快速篩選候選材料。這項工作的重點是分析裂紋在材料分子結構中的傳播方式來預測材料的破裂或斷裂方式。記錄了有序晶體結構的相對取向和材料各自對斷裂的反應方式,然後逐個模擬材料如何破裂。最後將模擬的大量數據輸入到AI系統中,訓練可以發現潛在物理原理並預測不屬於訓練集的新材料性能的模型,對於分子動力學的單個模擬,運行模擬需要花費幾個小時,但是在此人工智能預測中,只需花10毫秒即可完成所有模式預測,還能顯示裂紋是如何一步一步形成的。研究人員認爲,該開發方法具有通用性,AI模型可以應用於更爲複雜的材料分析。

據《MIT-News》報導

 

489,用脈衝神經網絡解決一類約束非Lipschitz的優化問題

本文針對一類約束非Lipschitz優化問題,提出了一個脈衝神經網絡(SNN),其中目標函數是一個非光滑、非凸函數和一個非Lipschitz函數的和,其可行集爲一個閉合凸集。使用平滑近似技術,通過微分方程,對提出的神經網絡進行建模,可以輕鬆實現。在可行集中目標函數有界條件下,我們證明了可行集中任何初始點的SNN解的全局存在性和一致有界性。在平滑函數的Lipschitz屬性下提供了SNN解決方案的唯一性。我們表明,SNN解的任何累積點都是優化問題的固定點。數值結果包括圖像復原,盲源分離,變量選擇和最小化條件數,以說明理論結果並顯示SNN的效率。

 

490,研發基於深度強化學習新算法對交互式醫療圖像分割動態過程建模、決策、求解

來自上海交大和華東師大的團隊研發了一個基於深度強化學習的新算法Itek-MRL,將交互式醫療圖像分割的動態過程建模成一個馬爾科夫決策過程,然後用深度強化學習求解。該算法從整體上考慮分割更新序列,充分挖掘了交互分割前後的關聯。由於體素級的圖像分割標註任務造成單智能體的強化學習算法遭遇探索空間爆炸問題,因此該團隊採用多智能體模型,將每個圖像體素看作一個智能體。通過讓所有智能體共享同一個行爲策略,將探索空間減小到了可行的範圍。多智能體模型還能同時實現圖像體素的合作交互,從而有效地捕捉分割任務中體素之間的依賴性。

 

491,谷歌宣佈召開第七屆精細視覺分類研討會

爲了幫助支持細粒度的視覺分類這一領域的進一步發展,谷歌贊助並共同組織了第七屆細粒度視覺分類研討會(FGVC7),與計算機視覺和模式識別(CⅤPR)關聯,該研討會將作爲虛擬聚會於2020年6月19日舉行。谷歌強調了今年的世界級細粒度挑戰賽內容,包括預測果樹病到預測時尚特質。谷歌邀請了來自世界各地的計算機視覺研究人員參加此次研究會。

 

492,在計算機視覺領域應對尺度變化的目標檢測新算法

目標檢測是計算機視覺領域的重要研究方向。爲了更好地解決物體檢測中的尺度問題,近日商湯EIG算法中臺團隊提出應對尺度變化的目標檢測新算法。

特徵金字塔是解決物體尺度問題的重要手段,但是不同level的特徵圖其實存在較大的語義差距。論文提出輕量級金字塔卷積PConv,對特徵金字塔進行3-D卷積來挖掘內在尺度的關聯性。同時,論文提出尺度均衡的金字塔卷積SEPC,以減少特徵金字塔與高斯金字塔間的差異。這一改進提高了檢測器應對尺度變化的魯棒性,提升了SOTASingle-Stage目標檢測算法的性能,而且幾乎不影響推理速度。

 

493,採用深層聚合算子(DLA)處理不同尺度目標解決多目標跟蹤任務

華中科技大學和微軟亞洲研究院的研究人員將目標檢測和重識別融合進一個框架,幫助解決多目標跟蹤任務,同時提出了一個簡單而有效的新方法。該方法以30fps運行在公開數據集上的性能超越了之前SOTA結果。採用anchor-free目標檢測方法,估計高分辨率特徵圖上的目標中心。去掉錨點這一操作可以緩解歧義問題,使用高分辨率特徵圖可以幫助Re-ID特徵與目標中心更好地對齊。然後,添加並行分支來估計像素級Re-ID特徵,這類特徵用於預測目標的id。具體而言,學習既能減少計算時間又能提升特徵匹配穩健性的低維Re-ID特徵。在這一步中,研究者用深層聚合算子(DeepLayerAggregation,DLA)來武裝主幹網絡ResNet-34,從而融合來自多個層的特徵,處理不同尺度的目標。

 

494,深度學習在圖上的發展——圖神經網絡(GNN)

不久前在ICLR2020大會上,Deepmind的研究人員PetarⅤolicrovic報告了用於算法推理的圖表示學習。

由於圖的不規則性,傳統的深度學習算法在處理複雜的圖時面臨着巨大的挑戰。圖表示學習是深度學習的一個方向,是一種無監督學習,其核心是研究圖數據的表示,圖神經網絡(GNN)給圖表示學習帶來了新的建模方法。

爲什麼要通過圖表示學習——圖神經網絡(GNN)來發展深度學習算法用以處理圖問題?因爲很多數據是圖結構(如社交網絡、經濟網絡、生物醫學網絡、信息網絡、互聯網、神經網絡等),GNN一一一也適用於這些網絡。

十年來研究人員一直爲克服GNN模型表現力不足致力於提升其表現力的研究,近來本文研究者開發了多任務基準,以確保GNN能同時理解多種特性,Petar表示,這是解決複雜圖形問題的基礎。

 

495,自動駕駛行爲預測算法模型

當前,自動駕駛技術取得了很大進展,但欲在L5等級路況下行駛,乃至在全路況條件下行駛,還是未定之數!

今天,全球自動駕駛技術的兩家領先的企業:Waymo和百度擬採取兩種不同的發展思路。

1,Waymo在谷歌幫助下提出顛覆性的自動駕駛行爲預測算法模型

他們提出一個全新的ⅤectorNet模型,該模型用向量來簡化表達地圖信息和移動物體(這是一種抽象化認識周圍環境信息的做法),在所有向量間添加了語義關係,讓自動駕駛車輛不僅能看到環境信息,更能進一步理解環境中不同要素間的關係,在自動駕駛語境下,對要素間的認識可幫助行爲預測並大大提高預測精確度。

該論文已被計算機視覺領域三大國際頂會之一的CⅤPR接收。

2,百度嘗試採取另一種思路,被稱爲“中國方案”。

該方案不再訓練自動駕駛汽車在現有城市環境中進行導航,而是對現有城市或街道路側進行數字化改造,以適應並促進自動駕駛技術的發展。

 

496,獲物流試運行許可這個“空中飛的”厲害了!

據悉,億航智能(一家智能自動駕駛飛行器科技企業)正式對外宣佈,已獲得中國民用航空局頒領發的全球首個自動駕駛飛行器(AAⅤ)億航216的物流試運行許可,意味着億航智能可率先開展150公斤以上大載重空中物流商業試運行,這個“空中飛的”厲害了!

 

497,百度刷新人臉僞造檢測數據集識別“換臉”詭計

近日,百度在權威DeepFake防僞數據集FaceForensicsBenchmark(FFB)上刷新記錄,以整體檢測準確率0.821的成績超越SOTA,領跑行業。

FFB是由德國慕尼黑工業大學(TUM)聯合谷歌等共同發佈的大規模人臉僞造數據集。FFB擁有四種先進的人臉僞造技術:Face2Face、FaceSwap、DeepFakes和NeuralTextures。這些僞造出來的人臉圖像自然逼真,人眼幾乎無法辨別真僞,極大地提高了任務難度。

百度將自研的LearningGeneralizedSpoofCue算法引入人臉合成圖像鑑別任務,提高了整體檢測準確率,並登頂FFB榜單。

隨着DeepFake、FaceSwap等人臉編輯及生成技術的發展,極大的推動了如虛擬主播、人臉合成等新興娛樂文化的應用,但同時也給人臉安全帶來了潛在威脅,例如通過“換臉”技術進行色情視頻生成、虛擬政治人物講話等,對社會造成嚴重不良影響。目前AI換臉已形成一個黑產業鏈:上游提供軟件技術,中游提供視頻、照片定製,下游售賣成品視頻(或做全產業鏈的生意),已造成嚴重危害。此外,在一些使用人臉註冊識別場景下,可能存在不法分子通過上傳AI合成人臉圖像以企圖矇混過關。一系列“換臉”技術合成的人臉圖像很難通過肉眼辨別真僞。

 

498,自然語言處理必須解決以下問題:

①言上歧義,②語言的魯棒性,③知識依賴問題(語義取決於一些背景知識),④上下文。

 

499,ToP深度學習論文

在GitHub上有一個關於深度學習論文閱讀路線圖的存儲庫,包含100篇ToP深度學習論文,涉及自然語言處理、機器人、語義圖像分割等多個領域。

 

500,神經擬態計算ⅤS深度學習

三位AI專家(杜克大學陳怡然、浙江大學唐華錦、英特爾宋繼強)談基於脈衝神經網絡的神經擬態計算與深度學習的關係

宋:神經擬態計算和深度學習的關係是兼容幷蓄不是取代。對深度學習已有的擅長,如模擬人類視覺或自然語言交互的任務,讓深度學習的網絡去模擬。在其他方面,如英特爾的Loihi芯片做了嗅覺方面的工作,還有機器人操控,多模態甚至跨模態之間的知識存儲,可用神經擬態計算去實現。

唐:在一些特殊場景中,如並不需要精確的計算結果,而需在一個實時環境中給出一個魯棒響應時,神經擬態計算有絕對優勢。

陳:目前兩者實現的功能沒有特別大的不同。神經擬態計算具有魯棒性及實時性優勢,這些只是在深度學習上提升而不是技術上突破。

宋:英特爾成立神經擬態研究社區(INRC),這是開源開放的,要在應用方面突破,抓應用落地。

神經擬態計算未來前景的切入點:

①一個是非結構化數據、實時性要求高的場景,②多模態、實時的場景(如機器人、無人機、需要持續學習自適應學習的場景)。

 

501,深度學習和推理

如何讓深度學習模型魯棒運行和推理?

爲何說採用MegEngine“訓練推理一體化”的範式後,可爲深度學習引入推理創造條件?

如果深度學習實現推理後,能否改變其黑盒子操作的不可解釋爲可?

 

502,國內外跟貼:8個腦機接口案例

1,跟貼12條,2019年8月發佈,美國卡內基梅隆大學腦機接口案例

2,跟貼51條,2019年發佈,俄羅斯“腦機接口”公司(Neurbotics)和莫斯科物理技術學院(MIPT)腦機接口案例

3,52條跟貼,2019年7月發佈,美國臉書和加州大學舊金山分校(UCSF)腦機接口案例

4,175條跟貼,2019年發佈,美國特斯拉“腦機接口”公司腦機接口案例

5,308條跟貼,2020年1月發佈,中國浙江大學求是高等研究院腦機接口案例

6,363條跟貼,2019年發佈,美國加州大學伯克利分校腦機接口案例

7,378條跟貼,2019年發佈,美國加州大學舊金山分校腦機接口案例

8,386條跟貼,2020年1月發佈,中國天津大學腦科學與類腦研究中心腦機接口案例

2016年,對宇航員進行無創腦機接口測試

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章