深度神經網絡 - 模仿人類大腦中神經元行爲的數學函數層 - 是最先進的機器翻譯和異議識別系統的核心。它們有助於將一種語言翻譯成另一種語言並從名片中提取地址。問題是，它們經常受到智能手機，可穿戴設備和其他移動設備的硬件限制 - 特別是在內存和計算方面。
不過，對於高性能的離線算法還有希望。在本週於比利時布魯塞爾舉行的自然語言處理經驗方法會議上發表的一篇論文中，谷歌研究人員描述了離線的設備上AI系統 - 自我管理神經網絡（SGNN） - 它們實現了空中狀態導致特定的對話框相關任務。
“在設備上開發和部署深度神經網絡模型的主要挑戰是：（1）微小的內存佔用，（2）推理延遲和（3）與高性能計算系統（如CPU，GPU）相比顯着低的計算容量和雲上的TPU，“該團隊寫道。“[SGGNs]允許我們在設備上以非常快的速度計算傳入文本的投影，因爲我們不需要存儲傳入的文本和字嵌入。”
正如該論文的作者所解釋的那樣，有許多方法可以設計一個輕量級的設備上文本分類模型，比如將模型與圖形學習相結合，這就是谷歌智能回覆中使用的模型， 並自動生成簡短的電子郵件回覆。但大多數要麼不能很好地擴展，要麼導致大型模型。
相比之下，SGGN採用了局部敏感散列（LSH）的修改版本，這種技術通過散列或映射輸入項來減少數據中的維數，以便類似的項以高概率映射到相同的“桶”。顧名思義，它是自我控制的 - 它可以通過動態地將輸入轉換爲具有投影函數的低維表示來學習模型而無需初始化，加載或存儲任何特徵。此外，在對數據進行訓練時，它學會選擇並應用對給定任務更具預測性的特定操作。
該團隊寫道，這減少了數百萬個獨特單詞的輸入維度，縮短了固定長度的短序列，並且無需存儲文本和單詞嵌入（代表單詞和短語的向量）。在實驗中，與存儲要求超過數十萬維的字嵌入方法相比，SGGN使用固定的1120維向量，而不管輸入數據的詞彙表或特徵大小。
研究人員使用兩個對話行爲基準數據集來評估SGGN：交換機對話法案語料庫（SWDA），其中包含兩個發言人和42個對話行爲，以及ICSI會議記錄器對話法案語料庫，一個多方會議的對話語料庫。
沒有預處理，標記，解析或預訓練嵌入，SGGN的表現優於基線AI系統12％至35％。通過SWDA和MRDA數據集，它實現了83.1％的準確率和86.7％的準確度 - 高於基準 - 針對尖端卷積神經網絡和遞歸神經網絡 - 並且日本的準確度達到73％，接近最佳性能系統。
在未來的工作中，研究人員計劃調查SGGN在其他自然語言任務中的使用。
“我們的研究還表明，與更復雜的神經網絡架構相比，所提出的方法對於這種自然語言任務非常有效，例如深CNN和RNN變體，”研究人員寫道。“我們相信壓縮技術，如與非線性函數結合的局部敏感投影，可有效捕獲對文本分類應用有用的低維語義文本表示。”
近年來，邊緣人工智能系統取得了突飛猛進的發展。
9月，都柏林創業公司 Voysis 宣佈推出基於WaveNet的技術，該技術不僅可以在線下運行，還可以在智能手機和其他帶有移動處理器的設備上運行。8月，Google的研究人員開發了具有記錄面部識別和物體檢測速度的離線AI。5月份，高通聲稱其設備上的語音識別系統準確率達到了95％。