神經網絡計算爆炸

深度挖掘的公司開始爲特定應用定製這種方法,並花費大量資金來獲得初創公司。

具有先進並行處理的神經網絡已經開始紮根於預測地震和颶風到解析MRI圖像數據的許多市場,以便識別和分類腫瘤。

由於這種方法在更多的地方得到實施,所以它是以許多專家從未設想的方式進行定製和解析的。它正在推動對這些計算架構如何應用的新研究。

荷蘭Asimov研究所的深度學習研究員Fjodor van Veen已經確定了27種不同的神經網絡結構類型。 (參見下面的圖1)。差異主要是應用程序特定的。

神經網絡

圖。 1:神經網絡架構。資料來源:阿西莫夫研究所

神經網絡是基於閾值邏輯算法的概念,這是1943年由神經生理學家Warren McCulloch和邏輯學家Walter Pitts首次提出的。研究在接下來的70年裏一直徘徊,但是它真的開始飆升。

Nvidia的加速計算集團產品團隊負責人Roy Kim表示:“2012-2013年的大爆炸事件發生在兩個里程碑式的出版物上。其中一篇論文是由Geoffrey Hinton和他的團隊從多倫多大學(現在也是谷歌的半時間)撰寫,題爲“ImageNet Classification with Deep Convolutional Neural Networks”。然後在2013年,Stanford的Andrew Ng(現在也是百度首席科學家),他的團隊發表了“與COTS HPC系統深度學習”。

Nvidia早期認識到,深層神經網絡是人工智能革命的基礎,並開始投資於將GPU引入這個世界。 Kim指出卷積神經網絡,復發神經網絡和長時間內存(LSTM)網絡,其中每個網絡都設計用於解決特定問題,如圖像識別,語音或語言翻譯。他指出,Nvidia正在所有這些領域招聘硬件和軟件工程師。

6月份,Google大幅增加新聞,Google在神經網絡手臂競賽的半導體領域處於領先地位。 Google卓越的硬件工程師Norm Jouppi公佈了公司幾年努力的細節,Tensor處理器單元(TPU)是實現硅芯片神經網絡組件的ASIC,而不是使用原始硅計算電源和內存庫和軟件,這也是谷歌也做的。

TPU針對TensorFlow進行了優化,TensorFlow是Google使用數據流圖進行數值計算的軟件庫。它已經在Google數據中心運行了一年多。

不過,這不僅僅是一些正在爭奪這一市場的玩家。創業公司Knupath和Nervana進入這個戰爭,尋求設計具有神經網絡的晶體管領域。英特爾上個月向Nervana報了4.08億美元。

Nervana開發的硅“引擎”是在2017年的某個時候。Nervana暗示了前進的內存緩存,因爲它具有8 Tb /秒的內存訪問速度。但事實上,Nervana在2014年以種子資本開始投入60萬美元,並在兩年之後賣出近680倍的投資,這證明了行業和金融家們正在佔據的空間 - 以及這個市場有多熱。

市場驅動

汽車是該技術的核心應用,特別適用於ADAS。 Arteris董事長兼首席執行官Charlie Janac說:“關鍵是您必須決定圖像是什麼,並將其轉化爲卷積神經網絡算法。 “有兩種方法。一個是GPU。另一種是ASIC,其最終獲勝並且使用較少的電力。但一個非常好的實現是緊密耦合的硬件和軟件系統。

然而,到緊密耦合系統的這一點,取決於對什麼問題需要解決的深刻理解。

Leti首席執行官Marie Semeria說:“我們必須開發不同的技術選擇。 “這是全新的。首先,我們必須考慮使用。這是一種完全不同的駕駛技術方式。這是一個神經性的技術推動。你需要什麼?然後,您將根據此開發解決方案。“

該解決方案也可以非常快。 Cadence顧問Chris Rowen表示,其中一些系統每秒可以運行數萬億次操作。但並不是所有這些操作都是完全準確的,而且這個操作也必須被構建到系統中。

Rowen說:“你必須採取一種統計手段來管理正確性。 “你正在使用更高的並行架構。”

最有效的

比較這些系統並不容易。在討論Google TPU時,Jouppi強調了世界各地的研究人員和工程師團隊的基本工作方法,以及他們正在使用的硬件和軟件的性能:ImageNet。 ImageNet是大學研究人員獨立維護的1400萬張圖像的集合,它允許工程團隊將他們的系統找到對象和分類(通常是其子集)的時間縮短。

本月晚些時候,ImageNet大型視覺識別挑戰賽(ILSVRC)的結果將於2016年發佈,作爲在阿姆斯特丹舉行的歐洲計算機視覺會議(ECCV)的一部分。

所有在這裏討論的玩家將在那裏,包括Nvidia,百度,谷歌和英特爾。高通也將在那裏,因爲它開始關鍵的軟件庫,就像Nvidia一樣。 Nvidia將展示其DGX-1深度學習用具和Jetson嵌入式平臺,適用於視頻分析和機器學習。

ECCV 2016的總裁Arnold Smeulders和Theo Gevers告訴“半導體工程”,ECCV的許多與會者都在半導體技術領域工作(而不是硅片上運行的軟件),從而實現計算機視覺。

“最近,半導體技術強國已經開始對計算機視覺感興趣,”他們通過電子郵件說。 “現在,電腦可以瞭解圖像中存在哪些類型的場景和類型的場景。這需要從註釋示例中描述與機器學習匹配的特徵中的圖像。在過去五年中,這些算法的力量使用深層學習架構大大增加。由於它們是計算密集型產品,包括高通,英特爾,華爲和三星在內的芯片製造商,以及蘋果,谷歌,亞馬遜等大型企業以及許多高科技創業公司也將進入計算機視覺階段。

Smeulders和Gevers表示,興趣已經增長到這樣的高度,會議場地在一個月前達到最大容量,註冊預計將會結束。

以前的ECCV版本長期以來每年大約有100名與會者長大,在蘇黎世的上一版本以1,200的成績結束。 “今年,我們在會議前一個月已經有1500位與會者。在這一點上,我們不得不關閉註冊,因爲我們僱用的建築,荷蘭皇家劇院,不能更舒適地擁有,“他們寫道。

隨着行業的複雜和變化,工程經理尋找必要的技能是很困難的。它還引發了電氣工程和計算機科學學生關於他們的課程是否會過時的問題,然後才能將它們應用於市場。那麼一個學生對電子學有興趣,特別是半導體在計算機視覺中的作用呢,可以在現場找到工作嗎?

Semulders和Gevers表示:“由於圖像[識別]是每1/30秒的大量數據,所以半導體行業受到重視是很自然的事情。” “由於大量的數據,直到最近,注意力僅限於處理圖像以產生另一個圖像(更可見,更清晰的圖像中的突出顯示元素)或減少圖像(目標區域或壓縮版本)。這是圖像處理領域:圖像輸入,圖像輸出。但最近,計算機視覺領域 - 即對圖像中可見的解釋 - 已經經歷了一個非常有成效的時期。他們寫道:要了解圖像的本質,正在形成的方式和深入網絡分析的方式,是現代計算機視覺的關鍵組成部分。

隨機信號處理,機器學習和計算機視覺將是學習和培訓的領域。

ECCV的亞洲對手是亞洲CCV。在這幾年,國際CCV舉行。 Smeulders和Gevers指出,每年夏天在美國舉行的計算機視覺和模式識別會議是對CCVs的補充,但是重點略有不同。 Google認爲它是所有審查學科的前100名研究來源之一,這是列表中唯一的會議。論文將於11月15日在檀香山舉行的7月份e會議上公佈。

Nvidia的Kim和其他人認爲2012年至2013年將成爲在這些神經網絡應用中用於計算機視覺等任務的GPU的“大爆炸”。那麼下一個大爆炸又是什麼?

“自2004年以來,對圖像內容進行分類的比賽重新開始,幾個算法步驟已經鋪平了道路,”Smeulders和Gevers寫道。 “一個是SIFT特徵[Scale Invariant Feature Transform]。另一種是一些單詞和其他編碼方案,以及特徵定位算法,以及大量圖像數據的特徵學習。然後,GPU爲深入學習網絡鋪平了道路,進一步提高了性能,因爲它們加速了數據集的學習。這意味着需要幾周的任務現在可以在一夜之間運行。下一個大爆炸將再次在算法方面。

鑑於投入這筆市場的金額很大,毫無疑問,大事情將會前進。還有多大的待觀察,但鑑於這種方法的活動量以及投資的數量,預期是非常高的。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章