目前，AI芯片的大規模應用場景主要還是在雲端。在雲端，互聯網巨頭已經成爲了事實上的生態主導者，因爲雲計算本來就是巨頭的戰場，現在所有開源AI框架也都是這些巨頭髮布的。工業主板
從應用場景看，AI芯片主要有兩類，一是部署在以數據中心爲代表的雲端，其特點是高性能，功耗隨之也偏高；另一個是部署在消費級和物聯網的終端，其最大特點就是低功耗。
雲端AI芯片已經被各大巨頭把控，但是在終端上，由於還沒有一統天下的事實標準，芯片廠商可以八仙過海各顯神通。目前，AI芯片在終端的應用場景主要還是手機，各大手機處理器廠商都在打AI牌，生怕錯過了熱點。
產學研各界的衆多企業和科研機構在最近兩年紛紛投入人力和財力，進行低功耗AI芯片的研發，以期在競爭中佔得先機。一些傳統AI服務廠商將自己的服務進行垂直拓展，比如的自然語音處理廠商雲知聲從自己的傳統語音業務出發，開發了UniOne語音AI芯片，用於物聯網IoT設備。相對於語音市場，安防更是一個AI芯片扎堆的大產業，如果可以將自己的芯片置入攝像頭，是一個不錯的場景，也是很好的生意。
在計算機體系結構頂級會議ISSCC 2018，“Digital Systems: Digital Architectures and Systems”分論壇主席Byeong-GyuNam對AI芯片，特別是深度學習芯片的發展趨勢做了概括，去年，大多數論文都在討論卷積神經網絡的實現問題，今年則更加關注兩個問題：一，如果更高效地實現卷積神經網絡，特別是針對手持終端等設備；二，關於全連接的非卷積神經網絡，如RNN和LSTM。
爲了獲得更高的能效比，越來越多的研究者把精力放在了低精度神經網絡的設計和實現上，如1bit的神經網絡。這些新技術使深度學習加速器的能效比從去年的幾十TOPS/W提升到了今年的上百TOPS/W。有些研究者也對數字+模擬的混合信號處理實現方案進行了研究。對數據存取具有較高要求的全連接網絡，有些研究者則藉助3D封裝技術來獲得更好的性能。相信隨着5G和物聯網的大面積鋪開，低功耗AI芯片將是未來的主要發展方向，只要相關標準能夠確定，則商機無限。
總之，AI芯片在終端側的發展潛力巨大，且應用場景衆多，品類也多，這就更適合衆多初創的、中小規模AI芯片企業的胃口。