到2020年，我們預計將有超過7.5億的邊緣人工智能芯片（執行或加速機器學習任務的芯片或芯片部件，不是在遠程數據中心裏）被售出，這意味着26億美元的收入。此外，邊緣AI芯片市場的增長速度將遠遠快於整個芯片市場。我們預計，到2024年，邊緣人工智能芯片的銷量將超過15億。這意味着年銷量至少增長20%，是整個半導體行業9%年複合增長率長期預測的兩倍多。
本文最初發佈於EE TIMES博客，經原作者授權由InfoQ中文站翻譯並分享。
到2020年，我們預計將有超過7.5億的邊緣人工智能芯片（執行或加速機器學習任務的芯片或芯片部件，不是在遠程數據中心裏）被售出，這意味着26億美元的收入。此外，邊緣AI芯片市場的增長速度將遠遠快於整個芯片市場。我們預計，到2024年，邊緣人工智能芯片的銷量將超過15億。這意味着年銷量至少增長20%，是整個半導體行業9%年複合增長率長期預測的兩倍多。
這些邊緣人工智能芯片可能會進入越來越多的消費設備，如高端智能手機、平板電腦、智能音箱和可穿戴設備。它們還將用於多個企業市場：機器人、相機、傳感器和其他物聯網設備。
隨着開發人員意識到物聯網系統需要將更多的智能部署到邊緣，以克服延遲、性能數據隱私/安全和帶寬挑戰，我們探索追求更智能的邊緣：什麼、爲什麼和在哪裏。
消費者邊緣人工智能芯片市場比企業市場大得多，但其增長速度可能會更慢，預計在2020年至2024年之間的複合年增長率將達到18%。企業級邊緣AI芯片市場的增長速度要快得多，預計在同一時間段的CAGR爲50%。
然而，就目前而言，到2020年，消費設備市場可能會佔據邊緣AI芯片市場90%以上的份額，無論是銷量還是美元價值。絕大多數邊緣人工智能芯片將用於高端智能手機，佔目前消費者使用的邊緣人工智能芯片的70%以上。因此，在2020年及未來幾年，人工智能芯片的增長將主要由智能手機驅動。我們相信，到2020年，在15.6億部智能手機市場中，超過三分之一的手機將配備邊緣AI芯片。
由於極端的處理器密集型需求，AI計算幾乎都是在數據中心、企業核心設備或電信邊緣處理器上遠程執行的——而不是在本地設備上。邊緣AI芯片正在改變這一切。它們體積更小，相對便宜，消耗的能量更少，產生的熱量更少，這使得將它們集成到手持設備和非消費設備（如機器人）中成爲可能。通過使這些設備能夠在本地執行處理器密集型的人工智能計算，邊緣人工智能芯片減少或消除了向遠程位置發送大量數據的需要——從而帶來可用性、速度、數據安全和隱私方面的好處。
在設備上進行處理在隱私和安全方面更好；從不離開手機的個人信息不會被攔截或濫用。當邊緣AI芯片在手機上時，它可以做所有這些事情，即使不連接網絡。
當然，並非所有的人工智能計算都必須在本地進行。對於某些應用程序來說，發送數據給遠程AI陣列處理可能就足夠了，甚至是更好的選擇——例如，當設備的邊緣AI芯片處理太多數據時。事實上，大多數時候，人工智能將以一種混合的方式實現：一部分在設備上，一部分在雲中。在任何特定的情況下，根據需要執行的人工智能處理類型的不同，首選組合也會有所不同。
智能手機邊緣人工智能經濟學
智能手機並不是唯一使用邊緣AI芯片的設備；其他設備類別——平板電腦、可穿戴設備、智能音箱——也包含這些芯片。短期內，這些非智能手機設備對邊緣AI銷售的影響比智能手機小，因爲市場不增長（如平板電腦）或因爲它太小，很難有實質性的區別（例如，智能揚聲器和可穿戴設備的組合預計2020年也就銷售1.25億件）。不過，許多可穿戴設備和智能音箱都依賴於邊緣AI芯片，因此，普及率已經很高。
目前，只有最貴的智能手機——價格分佈的前三分之一——可能會使用邊緣AI芯片。對消費者來說，在智能手機中植入人工智能芯片並不一定使價格高得令人望而卻步。
我們有可能對智能手機的邊緣AI芯片做出一個相當合理的估計。迄今爲止，三星、蘋果和華爲的手機處理器圖像可以顯示裸露的硅模，所有功能都清晰可見，我們可以看到芯片的哪些部分用於哪些功能。三星Exynos 9820芯片的一個模片表明，芯片總面積的大約5%用於人工智能處理器。三星整個SoC應用處理器的成本估計爲70.50美元，這是該款手機上第二貴的組件（僅次於顯示屏），約佔設備總材料成本的17%。假設人工智能部分的成本與芯片的其他部分相同，Exynos公司的邊緣人工智能神經處理單元（NPU）大約佔芯片總成本的5%。換句話說，大約是3.5美元一個。
同樣，蘋果的A12仿生芯片將大約7%的模具區域用於機器學習。整個處理器的估計價格爲72美元，這意味着邊緣AI部分的成本爲5.10美元。據估計，華爲麒麟970芯片的製造成本爲52.50美元，而NPU芯片的製造成本爲2.1%，也就是說成本爲1.10美元。（然而，芯片面積並不是衡量芯片總成本中人工智能所佔比例的唯一方法。據華爲稱，麒麟970的NPU有1.5億隻晶體管，佔芯片55億隻晶體管總數的2.7%。這意味着NPU成本略高，爲1.42美元。）
雖然這個成本範圍很廣，但可以做個合理地假設，NPU的平均成本爲每個芯片3.5美元。再乘以5億部智能手機（更不用說平板電腦、音箱和可穿戴設備），儘管每個芯片的價格很低，但這將形成一個巨大的市場。更重要的是，對製造商而言，平均成本爲3.5美元，最低成本可能爲1美元，在智能手機處理芯片上添加一個專門的邊緣AI NPU，似乎是一件自然而然的事情。如果正常的加價，在製造成本上增加1美元對最終客戶來說只會多出2美元。這意味着NPU及其附帶的好處——更好的攝像頭、離線語音助手等等——可以用不到1%的價格加到250美元的智能手機上。
AI芯片採購：內部或第三方？
製造智能手機和其他類型設備的公司採取不同的方法來獲得邊緣人工智能芯片，其決策受到手機型號和（有時）地理位置等因素的影響。有些人從第三方公司購買應用處理器/調制解調器芯片，這些公司專門製造此類芯片並出售給手機製造商，但他們不製造自己的手機。高通和聯發科就是兩個典型的例子；2018年，這兩家公司總共佔據了智能手機SoC芯片市場約60%的份額。
高通和聯發科都提供各種價格的SoC；雖然並非所有的產品都包含邊緣AI芯片，但高端產品（包括高通的Snapdragon 845和855以及聯發科的Helio P60）通常都有。另一方面，蘋果完全不使用外部的AP芯片：它設計並使用自己的SoC處理器，如A11、A12和A13仿生芯片，所有這些芯片都有邊緣AI。
其他設備製造商，如三星和華爲，則使用混合策略，他們從外購市場硅供應商那裏購買一些SoC，剩下的則使用他們自己的芯片（如三星的Exynos 9820和華爲的麒麟970/980）。
50多家AI加速器公司在企業和工業領域就邊緣AI展開了競爭
如果用於智能手機和其他設備的邊緣AI處理器如此出色，爲什麼不把它們也用於企業應用呢？事實上，有些場景已經在用了，比如一些自主無人機。無人機配備了智能手機SoC應用處理器，可以在沒有網絡連接的情況下，在設備上進行實時導航和避障。
然而，針對智能手機或平板電腦而優化的芯片並不適合許多企業或工業應用。如前所述，智能手機SoC的邊緣AI部分僅佔總成本的5%，約爲3.50美元，比整個SoC的功耗低約95%。如果有人制造了一種芯片，它只有邊緣AI的部分（以及一些其他必需的功能，如內存），成本更低，耗電量更少，體積更小，那該怎麼辦？
好吧，他們有。據稱，總共有多達50家不同的公司正在研發各種各樣的人工智能加速器。面向開發人員的獨立邊緣人工智能芯片已於2019年上市，他們可以每次購買一塊，價格約爲80美元。如果量大，這些芯片可能會大大降低設備商的購買成本：有些僅爲1美元（甚至更少），有些則高達數十美元。目前，我們假設平均成本在3.5美元左右，使用智能手機邊緣AI芯片作爲替代。
除了相對便宜之外，獨立的邊緣AI處理器還具有體積小的優勢。它們的功率也相對較低，爲1到10瓦。相比之下，16個GPU和兩個CPU組成的數據中心集羣（儘管功能非常強大）的成本爲40萬美元，重量爲350磅，功耗爲10000瓦。
隨着此類芯片的研發，邊緣AI可以爲企業帶來許多新的可能性，尤其是在物聯網應用方面。使用邊緣人工智能芯片，公司可以極大地提高它們分析（而不僅僅是收集）聯網設備數據的能力，並將這種分析轉化爲動作，避免將大量數據發送到雲的成本、複雜性以及所帶來的安全挑戰。人工智能芯片可以幫助解決的問題包括：
-
數據安全和隱私。即使公司對數據保護保持警惕，收集、存儲和移動數據到雲中不可避免地會使組織面臨網絡安全和隱私威脅。隨着時間的推移，應對這一極其重要的風險變得更加關鍵。有關個人身份信息的法規正在各個司法管轄區出現，消費者對企業收集的數據越來越瞭解，其中80%的人表示，他們認爲企業並沒有盡其所能保護消費者的隱私。一些設備，如智能音箱，正開始在醫院等機構中使用，醫院對病人隱私的監管更加嚴格。
通過允許大量數據在本地處理，邊緣AI芯片可以降低個人或企業數據被截獲或濫用的風險。例如，具備機器學習處理能力的安全攝像頭可以通過分析視頻來確定哪些片段有價值，並只將這些片段發送到雲端，從而降低隱私風險。機器學習芯片還可以識別更廣泛的語音指令，因此，需要在雲中分析的音頻更少。更準確的語音識別還能帶來額外的好處，幫助智能揚聲器更準確地檢測“喚醒詞”，防止它聽到不相關的對話。 -
低連通性。設備必須連網才能在雲中處理數據。然而，在某些情況下，連接設備是不切實際的。以無人機爲例。根據無人機的工作地點不同，維持與無人機的連接可能會很困難，而且連接本身和向雲中上傳數據都會降低電池的使用時間。在澳大利亞新南威爾士州，裝有嵌入式機器學習的無人機在海灘上巡邏，保護游泳者的安全。他們可以在沒有網絡連接的情況下識別被激流襲擊的游泳者，或者在受到攻擊前警告游泳者有鯊魚和鱷魚。
-
（太）大數據。物聯網設備可以產生大量數據。例如，一架空客A-350噴氣式飛機有6000多個傳感器，每天飛行時產生2.5TB的數據。在全球範圍內，安全攝像頭每天產生約2500PB的數據。將所有這些數據發送到雲存儲並分析非常昂貴且複雜。將機器學習處理器放在端點上，無論是傳感器還是攝像機，都可以解決這個問題。例如，相機可以配備視覺處理單元（VPU），這是專門用於分析或預處理數字圖像的低功耗SoC處理器。通過嵌入邊緣人工智能芯片，設備可以實時分析數據，只傳輸與雲中進一步分析相關的數據，而“忘記”其他數據，從而降低存儲和帶寬成本。
-
電量限制。低功耗的機器學習芯片甚至可以讓裝有小電池的設備進行人工智能計算，而不會消耗過多的電力。例如，ARM芯片被植入呼吸道吸入器中分析數據，如吸入肺活量和流入肺部的藥物。人工智能分析是在吸入器上進行的，然後將結果發送到智能手機應用程序，幫助衛生保健專業人員爲哮喘患者開發個性化護理。除了目前可用的低功耗人工智能NPU，各公司還在致力於開發“微型機器學習”：在微控制器單元那麼大的設備上進行深度學習。例如，谷歌正在開發TensorFlow Lite的一個版本，使得微控制器可以分析數據，並將需要發送到芯片之外的數據壓縮爲幾個字節。
-
低延遲要求。無論是通過有線網絡還是無線網絡，在遠程數據中心執行人工智能計算，在最好的情況下也意味着至少1-2毫秒的往返延遲，在最壞的情況下則意味着數十甚至數百毫秒的延遲。使用邊緣AI芯片在設備上執行AI可以把時間縮短到納秒——對於設備必須實時收集、處理數據並採取行動的應用場景來說，這至關重要。例如，自動駕駛汽車必須收集和處理來自計算機視覺系統的大量數據來識別物體，以及來自控制汽車功能的傳感器的數據。然後，他們必須立即將這些數據轉換成決策——何時轉彎、剎車或加速——從而實現安全操作。要做到這一點，自動駕駛汽車必須在汽車上處理它們收集的大量數據。低延遲對機器人來說也很重要，隨着機器人從工廠環境中走出來，與人類一起工作，這將變得更加重要。
結束語：邊緣AI對數據量大的應用將至關重要
邊緣AI芯片的普及可能會給消費者和企業帶來重大變化。對於消費者而言，邊緣人工智能芯片可以實現多種功能——從解鎖手機，到與語音助手對話，再到在極其困難的條件下拍攝令人驚歎的照片，而且不需要聯網。
但從長遠來看，邊緣人工智能芯片的更大影響可能來自於它們在企業中的應用，它們可以讓企業將物聯網應用提升到一個全新的水平。由人工智能芯片驅動的智能機器可以幫助擴大現有市場，威脅到傳統企業，改變製造業、建築業、物流、農業和能源等行業的利潤分配方式。對大量數據進行收集、解釋和立即採取行動的能力，對於未來學家認爲正在廣泛應用的許多數據密集型應用——視頻監控、虛擬現實、無人駕駛飛機和交通工具等——至關重要。這種未來在很大程度上取決於人工智能芯片的優勢：將智能帶到設備上。
拓展閱讀：
https://www.eetimes.com/putting-ai-into-the-edge-is-a-no-brainer-and-heres-why