隨着物聯網設備（例如手機，虛擬助手，筆記本電腦，平板電腦，建築物傳感器，無人機，安全攝像機和可穿戴式健康傳感器）的數量有望在2025年超過700億，邊緣計算應用也將增加。
物聯網設備在零售，醫療保健，工業，航空航天，國防，運輸，設施維護，能源，製造業，供應鏈物流和智慧城市等廣泛領域中具有廣泛多樣的應用。每個物聯網設備都連續收集數據，需要快速分析以做出實時決策，特別是對於自動駕駛汽車，電網，遠程手術，石油鑽機甚至軍用無人機等應用。
物聯網設備的邊緣計算與雲計算
傳統上，雲計算是物聯網設備分析和預測的模型。在中央雲計算模型中，數據從最終用戶設備（“邊緣”）發送到雲以進行分析；然後將決策發送回設備以執行。儘管中央計算模型中的數據中心具有處理和存儲數據的巨大能力，但它們的維護成本高昂且耗電大。
邊緣與雲之間的數據傳輸不僅昂貴，而且很費時，並且會導致延遲（延遲時間）。此外，數據傳輸所需的能量超過了低能耗無線IoT設備可以支持的能量。當僅收集的一部分數據可能有用時，將所有數據傳輸到雲也沒有邏輯，操作或財務意義。最後，數據傳輸可能會對數據完整性和安全性產生不利影響。
相比之下，通過邊緣計算，可以在IoT設備上收集和分析數據以進行快速推斷（或決策）。以後，少量有用的數據將被移到雲中。邊緣計算具有幾個優點。由於無需將數據從IoT設備傳輸到中央雲，因此產生的滯後時間，帶寬消耗和成本將很低，並且可以基於數據分析快速做出決策。
此外，即使系統處於脫機狀態，邊緣計算也可以繼續運行，並且即時數據處理使確定哪些數據應該傳輸到雲以進行進一步分析變得更加容易。
開發AI前沿：挑戰
將AI與邊緣計算相結合雖然很有意義，但硬件和AI軟件組件面臨着多重挑戰。
第一個挑戰是處理和功耗。AI由訓練和推理軟件組成。培訓講授一個模型來識別相關參數，以便它可以解釋數據。推論是模型進行基於學習的預測的時間。
在雲計算中，高能耗訓練在雲上進行，然後將經過訓練的軟件部署到邊緣，以進行相對低能耗的預測（或推斷）任務。在邊緣計算中，培訓轉移到了邊緣，從而對邊緣硬件的處理能力提出了更高的要求。對於物聯網設備，這種增加的能耗帶來了更大的問題，需要重新平衡處理能力與功率需求。
現在，數據存儲和安全性構成了第二個挑戰，因爲邊緣設備將保留大部分數據，僅將一小部分傳輸到雲中。另外，設備需要存儲用於學習和推理的參數。第三個挑戰是物聯網設備的數量龐大，並且目前缺乏針對它們的安全標準。
因此，科技公司需要開發具有更高處理能力和更低能耗的硬件，以及能夠更有效地執行學習和推理的軟件。此外，物聯網的應用是針對特定場景和特定部門的，因此對於自定義而言，強大的生態系統和開發人員環境至關重要。