AIoT 時代到來,你的大數據平臺準備好了嗎?

IoT 概念最早在 1985 年由 Peter T. Lewis 提出,至今已經 30 餘年。近年來伴隨着人工智能技術、5G 的快速發展,IoT 技術的應用再次成爲了業內關注的焦點。

 

點此下載 PPT,瞭解更多 AIoT 相關內容​kyligence.io

Kyligence 在幫助企業建設大數據平臺的過程中,也見證了 AIoT 技術從概念到實踐的演變,親歷了諸多前沿應用。今天就 AIoT 技術,我們邀請了資深售前爲大家帶來一線的解讀,在這篇文章中您將瞭解到:

  1. AIoT 有哪些最新應用?
  2. AIoT 項目的建設爲什麼需要大數據平臺?
  3. AIoT 大數據平臺的通用架構是什麼?

AIoT=AI(Artificial Intelligence 人工智能)+IoT(Internet of Things 物聯網),是人工智能技術與物聯網在實際應用中的落地融合。


AIoT將成未來20年全球最重要科技


自 2016 年以來,隨着 IoT技 術(傳感器、移動網絡,通訊標準、技術平臺)和 AI(芯片、算法)的發展,智能設備越來越普及,例如手機的智能化應用功能越來越多(語音助手、拍照、智慧識圖等),同時也催生了智能設備(教育機器人、智能音箱、智能攝像頭)和可穿戴設備(智能手環、智能手錶)等新興產品市場。


這些面向消費市場的智能化產品近年來呈現出井噴式的增長,代表智能設備的智能手機,全球 2019 年 Q1 就出貨 3 億部。

AIoT 技術也在深刻改變着傳統企業,如傳統家電行業在 AIoT 的支持下,增加了更多智能功能,現在智能化電視已經成爲各廠商的主打產品,在冰箱、洗衣機、空調這些家電領域,智能互聯成爲新的增值點。而傳統的汽車和重工機械採用 VoT(車聯網)技術,大大提高了車輛/裝備的信息透明度和控制水平(如安吉星遠程診斷和遠程啓停),同時支持業務創新 ,如汽車行業的基於駕駛行爲的 UBI 保險業務和重型裝備的以租代售業務等。


工業 4.0 和國家的智能製造 2025 計劃,核心都是通過利用 AIoT 技術提高生產水平、創新業務方式,從而提升整體制造能力。我們可以看到,裝備企業越來越多地引入新型傳感器和機器人,在傳統生產線上增加如 PLC、FCS,以期提高設備和生產線的智能化水平,配合大數據和 AI 技術,可在生產線動態運維、生產工藝優化、產品質量提升等方面提高管理水平。


因此一個新的行業共識:AIoT 將成爲未來二十年全球最重要的科技,併成爲工業機器人、無人機、無人駕駛、智能陪伴、智慧建築及智慧城市等新興產業的重要基礎。
大數據平臺是AIoT重要組成部分

智能設備管理系統一般分爲三大部分:邊緣平臺、大數據平臺和業務管理平臺。

邊緣平臺直接聯接設備或網關,主要實現設備管理、規則處理(如緊急停機、聯動報警)和實時控制功能,同時將採集過來的數據進行解析和分發(分發到業務系統以實現實時監控、分發到大數據平臺進行進一步數據分析)。


大數據平臺接收物聯網產生的海量數據,進行海量數據存儲,並對設備過來的數據結合內外部其他數據進行業務分析、數據價值挖掘,爲設備改進、用戶服務和業務創新提供支持。通過大數據分析,甚至可以提供更強的人工智能爲業務管理和業務創新提供服務。


業務管理平臺對各項業務進行處理如研發、製造、內容運營、客戶服務等,這些系統很多業務依賴於大數據平臺提供的數據和模型支持。


大數據平臺需要具備的能力包括海量數據的實時接入(如 Kafaka)、海量數據的低成本存儲和高性能分析能力,目前實時/實時+批量的分析需求也越來越多,如實時預測設備故障、實時預測製造品質等。


基於大數據平臺的能力要求,傳統數據平臺如基於 RDBMS 的技術體系基本不可能滿足,因此目前 AIoT 體系配套的大數據平臺,幾乎全爲 Hadoop 技術體系搭建


(注:一般情況下,大數據平臺不做設備實時監控,這個工作由邊緣平臺結合專用的設備監控平臺來完成。在算法模型方面,大數據平臺應具有算法庫和訓練數據區,利用歷史數據訓練好的算法模型可進行實時計算以實時預警和預測,目前的趨勢是訓練好的算法模型移植到邊緣平臺。)


可以說,物聯網、大數據、及人工智能三者是相互協同,缺一不可的關係,事實上,很多物聯網、人工智能項目必然需要配套大數據平臺的建設,如汽車企業,就是因爲增加了智能互聯汽車,傳統數據平臺無法滿足海量數據的採集、存儲和分析利用的需要,所以必須配套大數據平臺的建設。


大數據平臺承擔的作用包括:

  1. 接收存儲設備傳來的高流量數據
  2. 海量數據存儲(長時間歷史)
  3. 爲AI算法提供數據原料和訓練場所
  4. 支持業務運營和業務創新

 

AIoT大數據平臺通用架構

如下圖所示,AIoT 大數據平臺分爲數據來源層、數據採集層、計算存儲層、數據服務層

 

事實上,AIoT 大數據平臺除採集來源於傳感器的 IoT 數據外,亦會採集企業內部、外部和第三方數據,以對全域數據進行整合以全面洞察業務,如移動設備(手機)企業,除採集設備本身元器件數據、功能和應用日誌數據外,亦會結合用戶的商城訪問、購買、諮詢和售後數據,全面瞭解用戶的需求,以提供個性化的產品服務。在 IoT 生態鏈打造過程中,融合不同來源的數據,已經成爲業務分析的必要條件。


基於不同的數據來源和數據類型,計算和存儲功能是大數據平臺的重點建設內容,在這一層需要進行多類型數據的接入、存儲、處理,因此低成本存儲和高性能計算(包括批量和流式計算)是平臺建設的核心,因此如何規劃設計數據流、數據處理方式,如何採用高性能技術組件,需要認真選型。


大致來說,AIoT 大數據平臺需要考慮實時數據處理、非結構化(如文本、圖像、音頻等)數據處理和結構化數據處理三種類型,這三種數據處理可能採用不同的技術方法,處理後的如何數據連接、整合,可能不同的企業會採用不同的方式。


在數據服務層,大致可分爲針對內部用戶、外部用戶和 IT 用戶三類,目前利用數據科學深度挖掘 AIoT 價值屬於數據應用的熱點,如進行手機換機預測、設備檢修時機預測、組合推薦營銷等。除內部用戶分析數據用於產品品質改善、推薦營銷、個性化服務外,鑑於 IoT 的數據擁有巨大的價值,許多企業在探索開發數據產品實現增值服務,如對車主的充電樁、停車場、購物場所的引導等。在國外,基於車主駕駛行爲的個性化保險(UBI)亦是數據價值變現的典型案例。


Kyligence在AIoT大數據平臺的定位和作用


Hadoop 技術體系構建的 AIoT 大數據平臺具有低成本、可擴展(Scale-Out)、高性能數據存儲和處理的顯著特點,在數據服務層面,根據不同的應用場景會利用不同的技術組件來實現業務需求。在數據聚合分析領域,基於 Apache Kylin 的 Kyligence 被很多 AIoT 大數據平臺使用。

 

Kyligence 是 Hadoop上 的 OLAP 組件,利用 Kyligence,用戶可在圖形化界面上構造業務分析模型,Kyligence 根據模型,利用 Hadoop 高性能計算引擎(Mapreduce/Spark)對模型進行預計算,並提供標準的 ODBC/JDBC 接口提供業務統計分析、明細查詢功能。同時提供 API 接口,可更好與業務系統對接,實現數據分析直接服務於業務操作閉環流程中。


需要指出的是,Kyligence 支持 kafka 作爲數據源實現實時數據分析,可幫助企業更細緻分析相關業務,如一天內每小時的業務量,或者用戶在一整天的行爲等。


綜合來說,在 Kyligence 的支持下,AIoT 大數據平臺可在產品研發與品質改善、工藝改進與產線維護、業務運營與業務創新等方面支持業務。

 

如某手機廠商 AIoT 大數據平臺,將 IoT 數據應用於手機研發、OS 開發、雲服務運營等領域,取得了良好的收益。

 

在這些場景中,Kyligence 產品得到了廣泛應用,如通過統計分析手機元器件的性能和功耗,尋找最優元器件組合,以實現更好的產品品質;根據用戶對元器件功能使用,基於場景定製型號等。

利用設備數據三方數據進行用戶分羣分析,以更好了解用戶情況

Kyligence 支持用戶自助從多個角度進行業務分析,業務人員可通過數據分析對業務進行改進和創新,如某用戶通過數據分析發現手機標配的耳機插口轉換器使用的用戶比例情況,發現大多數用戶並不會經常使用該配件,於是改變默認搭配的方式,在新的產品配置中,刪除標準配置,並在商城進行單獨銷售,此項改進爲企業帶來了數千萬的收益。


在某汽車主機廠,將車聯網數據和生產 IoT 數據除用於內部的營銷服務、產品改進和供應制造外,更積極在 UBI 保險、二手車評估、後市場合作服務領域運營數據,以實現數據增值。

 

如通過採集試驗樣車的測試車聯網數據,針對故障進行分析,瞭解故障產生的場景、環境工況等,以更有針對性改進設計,提高產品競爭力。

總結


AIoT 以數據量大、數據增長迅猛,以及業務運營精細化的特點,對大數據平臺提出了挑戰,而 Kyligence 作爲 Hadoop 平臺原生技術組件,可對海量數據進行高性能分析,並通過 Scale-out 能力,應對數據量和用戶數的指數性增長,幫助企業從研發、製造到服務運營各個領域充分利用 IoT 的數據,實現業務改善和業務創新。


作者簡介: 李明江,Kyligence 資深行業方案專家,在製造、金融和政企行業有近 20 年數據領域經驗,曾經參與多個大型數據平臺建設,對於企業數字化轉型有深刻理解和豐富經驗。 2019年 9月 24日

 

點此下載 PPT,瞭解更多 AIoT 相關內容​kyligence.io

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章