人工智能發展已進入“落地爲王”階段，端側 AI 相比雲側 AI，具有低延時、保護數據隱私、節省雲端計算資源等優勢，現已成爲端側技術新熱點，並且緊貼用戶在 AR 特效、搜索推薦等方面有諸多創新應用。我們有幸邀請到呂承飛（呂行）阿里巴巴淘系技術部資深無線開發專家來爲我們介紹端側 AI 的現狀以及在阿里的實踐。
本文將回顧端側 AI 的發展過程，以阿里端側 AI 發展爲例展望端側 AI 的未來。 在將於 11 月份舉行的 GMTC 北京 2020 上，呂承飛（呂行）老師作爲“端側 AI ”的專題出品人，策劃了端側 AI 專題的方向，將爲大家介紹前沿的端側 AI 創新應用、端側 AI 技術、端側 AI 開放能力，讓大家在聽完之後能結合自己業務快速上手，創造無限可能。
1. 端側 AI 介紹和發展回顧
端側 AI 正從嘗試應⽤變成驅動業務創新的核⼼推動⼒之⼀
AI 在智能⼿機和智能設備中應⽤越來越廣泛，⽐如短視頻 App 中的 AR 特效、⼈臉⻔禁等。隨着端上算⼒不斷增強和算法快速發展，特別是模型壓縮技術和⼩模型算法設計不斷成熟，在端側運⾏算法模型成爲可能。端側 AI 簡單說就是在終端設備做機器學習算法應⽤，這⾥“終端設備”主要是指⼿機，當然也包括不斷出現的各種智能設備和 IoT 設備。⽬前，端側 AI 主要是推理運⾏，當然也慢慢出現了在終端設備做訓練，⽐如聯合學習、遷移學習等。相較於雲側 AI，端側 AI 具有低延時、兼顧數據隱私、節省雲端計算資源，以及不依賴⽹絡提供穩定服務等顯著優勢。
自 2017 年以來，端側 AI 在底層技術和業務應⽤等⽅⾯都取得了快速發展，逐漸從嘗試性應⽤變成驅動業務創新的核⼼推動⼒之⼀。基於端側 AI 的⼈臉檢測、⼈體姿態、⼿勢等算法補⻬了 AR 特效中的交互能⼒，從⽽可以實現各種有趣好玩的 AR 應⽤，且在短視頻 App 中⼴泛應⽤。基於端側 AI 的實時⽤戶感知和理解能⼒，對於搜索推薦、安全⻛控、系統優化等業務都有幫助。在智能硬件 IoT 領域、⼈臉考勤機、 智能⻔禁鎖，以及⻋載 ADAS 等應⽤也都跟端側 AI 相關。
從技術發展來看：
端側推理引擎逐步成熟，基本解決了算法模型在端側能不能跑的問題，⽽且國內框架相⽐國外具有普遍的優勢。國內開源的 NCNN、MNN、MACE 以及 Paddle-Lite 等經過不斷打磨優化已經做的⾮常不錯。國外 TFLite 和 Pytorch 也開始重視端側推理，重點投⼊，性能等提升明顯。
除推理引擎之外，端側 AI 應⽤和部署仍存在較⾼⻔檻，⾏業公司逐步有⼀些嘗試。⽐如，阿⾥淘系在 2020 年 3 ⽉開放 MNNKit，包含⼈臉檢測、⼿勢識別等算法能⼒。百度和⼩⽶也有計劃開源多種算法模型，⽐如，百度最近開源的含⼝罩⼈臉檢測及分類模型。另外，華爲通過⼀站式開發平臺 ModelArts 希望實現端、邊、雲全場景的 AI 部署。
總的來說，雖然端側 AI ⽬前仍處於發展初期，但是相關應⽤已經展示出其巨⼤潛⼒，希望更多⼈能夠了解和應⽤這項技術。這也是我們本次⼤會端側 AI 專題的價值，通過介紹端側 AI 最新技術進展和⾏業案例，給⼴⼤開發人員提供參考，從⽽使他們能結合⾃⼰業務場景進⾏探索和嘗試，獲得業務突破。
2. 阿⾥端側 AI 發展狀況
端側 AI 業務應⽤場景逐步增多並取得明確價值，開源推理引擎 MNN
最早從 2016 年開始公司內部就有業務嘗試端側 AI 能⼒，並在 2017 年開始有計劃的建設和探索端側 AI ⽅向，包括我⾃⼰和所在的 MNN 團隊，也是從那個時候開始嘗試端側 AI ，經過這⼏年的發展，端側 AI 已經成爲移動 App 的基礎能⼒，助⼒業務發展和創新突破，並且也取得了不錯的業務結果。
⽬前，公司⾥絕⼤多數移動 App 都有使⽤端側 AI，2019 年初統計使⽤ MNN 的 App 就超過 20 個。以⼿淘爲例分享⼏個數據：10 多個場景應⽤，超過 25 個模型運⾏，每天運⾏機器學習和深度學習算法次數超過 500 億次。
應⽤場景
基於端側 AI 技術可以實現更加實時的⽤戶意圖識別，做出更加精準的內容推薦，甚⾄在端上訓練實現“千⼈千模”，有效提升了原有個性化推薦技術，該技術已在 2019 年雙 11 中⼤規模應⽤並取得不錯業務結果。對信息流的點擊量和 GMV 都帶來了明顯提升。
基於端側 AI 的⼈臉檢測能⼒結合 AR 應⽤可以給消費者更加真實的購物體驗。2019 年雙 11 美妝⾏業推出的 AR 在線試妝功能，能夠讓⽤戶模擬上妝，有效提升了線上購物體驗。
除此之外，⽀付寶掃福、⼿淘拍⽴淘、智能 Push 以及閒⻥智能發佈等都是端側 AI 的典型應⽤。
技術建設
總體來說，因爲我們起步早，體系也相對完整，技術結果顯著。基本已經解決算法模型在端側能不能跑以及跑得好、跑得快等問題，現在我們正在解決規模化應⽤和業務創新快速驗證的問題。具體從如下⼏⽅⾯簡單來說：
- 端側推理引擎
我們有開源推理引擎 MNN，以及⽀付寶定製化引擎 xNN，在性能優化、 異構多機型適配，模型壓縮等⽅⾯有⽐較多積累，⽬前也已具備訓練能⼒並⽀撐業務端上訓練任務。
- 端 AI 算法能⼒
公司各算法團隊已經沉澱⼈臉檢測、⼿勢識別、⼈體⻣骼、OCR 等常⽤能⼒，並且構建統⼀開箱即⽤算法集⽀撐業務快速接⼊應⽤。
- 端 AI⼯作臺和研發體系
淘系技術團隊正在探索和建設⼀站式端側 AI ⼯作平臺"MNN⼯作臺"，降低端側 AI 應⽤⻔檻，實現業務快速創新試錯。
3. 端側 AI 未來展望
端側 AI 仍處於⼤規模應⽤爆發前夜，未來結合 AR、IoT 等技術迎來更⼤發展
端側 AI 的應⽤會向更⼤範圍、更多領域鋪開並切實給業務帶來價值。從⼤公司嚐鮮到普通公司逐步推開，它會真正成爲⼀項基礎能⼒；從視覺算法到⼤數據、⾃然語⾔處理、語⾳等更多算法領域的應用，例如：⾕歌發佈的 ALBERT 在移動端部署應⽤已經成爲可能；從智能硬件到 IoT 設備，近來 TinyML 技術也在不斷成熟，正在成爲新的藍海，具體可以參⻅ TinyML2020 有關內容。
端側 AI 相⽐雲側 AI ⼀站式機器學習平臺整體技術體系還不夠完善，針對⾮專業算法同學如何能夠⾃主解決數據和算法問題產出模型，針對⼤前端和算法同學如何提⾼協同效率等些問題的解決勢必會進⼀步推動整個端側 AI 的發展。淘系內部基於 MNN 正在構建端側 AI 的完整研發體系，包括端 AI 運⾏時 +⼯作臺 + 服務端，後續也會逐步向業界開放，⼀起讓端側 AI 獲得更⼤發展。
5G 技術已經到來，我覺得 5G 技術的發展也會促進端側 AI 的發展。舉例來說，5G 來了，⾳視頻數據會進⼀步膨脹，當⽹絡不是瓶頸，服務端算⼒就會成爲瓶頸，那麼本地的視頻內容理解、預處理就顯得尤爲重要，更實時、更低成本的⽅案肯定會被應⽤，業界有些公司已經開始⾏動。結合 AR 來說，端側 AI 補充了 AR 的交互能⼒，5G 補充了 AR ⽹絡傳輸能⼒，讓⾼質量的 AR 素材傳輸變成可能。那麼，結合 5G + 端側 AI + AR 技術可能會出現⼀些有意思的應⽤。
總的來說，端側 AI 經過⼏年發展，雖然在技術建設和業務應⽤都有了⼀些進展，但仍處於⼤規模應⽤爆發前夜。隨着算⼒和算法不斷進步，應⽤⻔檻的不斷降低，結合 AR、視頻、5G 以及 IoT 等技術，端側 AI 必將迎來更⼤的發展。
作者簡介
呂承飛，花名呂行，阿里巴巴資深無線開發專家。2013 年加入淘寶，經歷手機淘寶超級 App 技術演化完整過程，主導手淘 iOS 架構升級、架構治理、穩定性以及性能等相關工作。2017 年開始端側 AI 方向探索，現負責端智能團隊，構建開源端側推理引擎 MNN，淘寶 AR 技術框架和美妝 AR 等創新應用，端計算技術框架和搜索推薦等創新應用。
隨着算⼒和算法不斷進步，結合 AR、視頻、5G 以及 IoT 等技術，端側 AI 必將迎來更⼤的發展。欲瞭解更多端側 AI 相關案例，請點擊GMTC北京2020大會官網。