邊緣AI方案落地問題探討

摘要:本文介紹瞭如何兌現邊緣AI帶來好處的承諾,並針對邊緣AI落地和商業閉環發起的開源社區工作。

本文分享自華爲雲社區《華爲雲:邊緣AI方案落地問題探討及調研》,作者: 華爲雲邊緣雲創新實驗室(Edge Cloud Innovation Lab,ECIL)。

  • 工業界實際業務和研究需求沒有固定來源?
  • 真實業務數據集及相關算法難以獲取?
  • 工業級邊緣AI系統搭建費時費力?
  • 黑科技算法找不到目標落地場景?
  • 向學界業界發出聲音的機會來了!

瞭解邊緣AI的朋友請直接點擊落地調研傳送門:https://www.wjx.cn/vj/m9RDmtT.aspx

邊緣AI技術趨勢顯現

在雲上執行機器學習是傳統而廣泛爲人所知的方法,基於雲側大規模算力,大部分大型雲平臺提供商均已提供機器學習服務。然而,機器學習所需的數據卻往往並非直接從雲平臺中產生,而是來自傳感器、手機、網關等邊緣設備。

隨着邊緣設備的廣泛使用和性能提升,將機器學習相關的部分任務遷移到邊緣,也即邊緣AI技術,已成爲必然趨勢,甚至能夠同時結合雲側算力和邊側數據來完成機器學習任務。2018年,VMware發佈了雲環境擴展到邊緣的框架。微軟除Azure雲外,也在物聯網上投資50億美元,因爲“物聯網最終正在發展成爲新的智能邊緣”。Garner預測,到2022年,50%的企業生成數據將在傳統集中式數據中心或雲之外創建和處理,高於2018年的不到10%,比如工廠內、飛機或石油鑽井平臺上、零售店或醫療器械中。

邊緣AI技術挑戰

機器學習服務將邊緣產生的數據轉換爲知識的過程中,首先需要在邊緣快速響應並處理本地產生的數據。在落地過程中,我們發現,在連接海量邊緣節點的邊緣雲時代,隨着AI服務與邊緣用戶的距離縮短,通用AI原本部分技術挑戰在邊緣場景下變得更加尖銳。這裏總結了四項挑戰:

1、資源受限:相對於便宜、按需獲取的雲端資源,邊側資源包括計算設備、供電設備、部署場地面積、AI開發環境等往往是有限或者異構的,邊側服務框架流程需要應對併兼容多種情況,建設與維護成本更高。

2、數據孤島:邊緣存在天然的地理分佈性。AI算法在工業應用時,往往面臨數據無法共享和數據隱私保護、甚至網絡瓶頸等問題,導致數據集在地理上天然分割,AI算法無法高效、準確地共同使用各個邊緣節點的數據。傳統集中式AI模式在邊緣場景下各項AI系統性能下降(包括收斂速度, 數據傳輸量, 模型準確度等)。

3、小樣本:單個邊緣通常僅有少量樣本, 尤其在邊側服務啓動初期普遍出現冷啓動問題。同時,邊側大量非結構化樣本的標註也比較困難,標註樣本的數量較低。這導致傳統大數據驅動的統計機器學習方法無法收斂或精度差。

4、數據異構:數據集內存在多種特徵、模型或標註分佈,直接導致邊緣測試樣本的統計分佈與訓練集差異過大(也稱Non-IID或OOD),使得通用AI模型在不同邊緣的不同情境性能顯著下降。對於同個租戶,業務繁多也往往導致不同輸入輸出的算法和數據複雜多樣(也稱長尾算法或長尾數據),此時邊雲協同AI服務框架流程需同時應對和兼容相應業務數據,並統一權衡實現資源高效調度。

以樓宇空調節能參數推薦場景爲例:

1、描述:冷機有多組參數可調,節能的關鍵是預測不同參數組合下的冷機能效比,推薦滿足製冷條件下的最節能參數配置。

2、邊緣智能需求:

    1. 新園區系統啓用,需具備邊側冷啓動能力實現快速交付;
    2. 園區系統本地定製與自動閉環:邊緣雲服務在線採集數據,模型持續迭代;
    3. 園區設備智能服務離線自治

3、技術挑戰:

    1. 資源受限:園區邊側設備的數據存儲與處理能力有限,在支撐多個系統服務同時機器學習服務容易卡頓,本地數據也只能保存數月。
    2. 數據孤島:同租戶不同樓宇控制乃至電力系統不互通。
    3. 小樣本:新園區系統啓用,需時間積累數據。冷機所有工況下所有參數組合全部運行採樣不可行。
    4. 數據異構:不同園區設備模型差異大,不存在單一通用模型。受工況、壽命等影響,模型隨使用會逐漸變化。

從服務應用層面來講,當前邊緣AI具有如下特點:

AR、VR、互動直播、視頻監控等基於人機交互的多媒體行業場景下以非結構化數據爲主。非結構化數據是指難以轉化爲便於信息系統進行語義解析的數值或統一格式的數據,如圖像、文本等,通常由人類直接處理。主要採用深度神經網絡方法。四大挑戰中最關鍵的部分在於由於未標註數據量大導致的標註樣本少、複雜系統下不相稱的邊側資源受限。

工業、能源、金融等基於傳統電子信息系統的行業場景下以結構化數據爲主。結構化數據是指便於信息系統進行語義解析的數值或統一格式的數據,如數據庫表格等,可由信息系統直接處理。主要使用非深度神經網絡的機器學習算法,其算法建模方式多樣,與業務相關性高。四大挑戰中最關鍵的部分在於邊側小樣本、跨邊數據孤島,以及數據異構下的服務可靠性乃至可解釋性等。

KubeEdge社區一直密切關注邊緣AI相關挑戰。KubeEdge是業界首個雲原生邊緣計算框架、雲原生計算基金會內部唯一孵化級邊緣計算開源項目。KubeEdge在全球已擁有800+貢獻者和60+貢獻組織,在Github獲得4.5k+Stars和1.3k+Forks。作爲KubeEdge中唯一的AI特別興趣小組(Special Interest Group),KubeEdge社區SIG AI致力於使能AI應用在邊緣更好地運行,聚焦邊緣AI技術討論、API定義、參考架構、開源實現等。針對上述四大挑戰,當前已開源邊緣智能平臺Sedna及其跨邊雲的協同推理、聯邦學習、增量學習和終身學習特性。

調研落地挑戰

當前學界業界各團隊的方案落地與成果轉化到產業的進程正在緊鑼密鼓地進行。很多團隊已經遇到各式各樣的困難,比如數據集難以獲取、通用方案無法滿足特定業務、缺乏商業成功案例等。僅靠技術並不足夠完成落地和產業轉化。

現在,爲了讓更多邊緣AI領域的朋友多快好省地完成技術研發落地和商業閉環,我們準備啓動落地挑戰調研,並結合行業關注的最新技術趨勢進行社區內容優化,最終集結開源社區力量爲邊緣智能算法開發者、服務部署者、市場營銷者三種角色提供資源和平臺幫助。社區將聚集SIG AI中30+單位的各供應商和開發者,提供數據集開源、預處理與特性算法開源、以及AI工具等行業內迫切需要的資源,爲大家帶來一場開源饕餮盛宴。

作爲信奉開源文化的社區,我們始終都強調“Best ideas win”,領域發展自然也不例外。爲了交出一個更有競爭力和創意的提案,我們希望瞭解每位關注開源與邊緣智能的朋友對邊緣AI相關方案落地過程遇到困難,然後選取Best idea,對社區內容進行優化,以便爲大家呈現一個體現開源開放精神的資源分享社區生態。

如果您在邊緣AI落地過程中遇到過問題,

如果您願意爲邊緣AI技術與產業發展貢獻一份力量,

歡迎您到這個問卷中來吐槽!

你的意見對開源社區優化至關重要,

吐槽就是力量!

請點擊邊緣AI落地挑戰調查傳送門並提交答案:https://www.wjx.cn/vj/m9RDmtT.aspx

本調查問卷均爲選擇題,耗時約3-5分鐘。

在您填寫和轉發問卷後:

1、待調研結束將收穫調研報告,各團隊將更深地瞭解在邊緣AI方案落地和行業轉化遇到的困難。KubeEdge社區SIG AI也將基於調研報告持續助力相關困難的解決,有機會化危爲機,將技術真正轉化爲生產力;

2、參與問卷調研有機會獲得邊緣AI行業前沿書籍留作紀念(共30份,同等貢獻先到先得)

優秀意見:我們將在答卷中選擇最佳反饋發放紀念品(上限10份);

積極推廣:轉發5個社羣、分享朋友圈獲10個以上贊等併發記錄到社區助手(上方二維碼),我們將爲積極推廣者發放紀念品(上限10份);

熱心參與:填寫問卷並留下郵箱,我們將隨機抽取問卷參與者發放餘下所有紀念品;

邊緣AI領域相關前沿書籍↑

掃描二維碼

發送暗號“KubeEdge SIG AI”加入討論羣

獲取SIG AI最新進展,技術乾貨

KubeEdge社區SIG AI感謝華爲、中國電信研究院、先見科技、哈工大、南洋理工、中山大、華工大、北交大、港理工、武漢大、上交大、中科大等社區成員在問卷設計過程中的付出!(調研截止時間:2021年10月30日晚上23:59)

 

點擊關注,第一時間瞭解華爲雲新鮮技術~

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章