1圖引擎服務(Graph Engine Service)
(1)對象:以“關係”爲基礎的“圖”結構數據。
(2)Gremli是Apache Tinkerpop框架下的圖遍歷語言。Gremlin是一種函數式數據流語言。(圖查詢語言)
(3)應用場景:
- 好友推薦:基於三元閉包理論。
- 社交網絡:個體價值發掘(PageRank)
- 社交網絡:社團發現(k-core,Louvain, Label Propagation)
- 社交/多媒體/電商:實時推薦(Pixie,GRank)
(4)圖計算算法:PageRank,最短路徑,k-hop,聚類係數,三角計算,Centrality,最大關聯子圖,Degree Correlation,K-core,標籤傳播,Louvain,PPR,關係預測,傳播模型,node2vec等。
(5)實時推薦系統的隨機遊走模型。
2實時流計算服務(Cloud Stream Service)
(1)數據流普遍,但沒有充分產生價值
(2)實時:計算框架按事件逐條實時處理流:one by one的數據流
(3)計算:數學運算,數據分析,算法模型執行等。
(4)實時流計算:實時處理當下正在發生的流數據,逐條大數據分析或運行機器學習算法。
(5)大數據AI:越實時越有價值。
(6)開源主流框架:Spark API,Apache Flink。
(7)流計算雙引擎:Flink +Spark
(8)沙箱問題:與瀏覽器安全相關,讓可疑網頁在其中運行,與系統隔離,一旦發現其病毒屬性,立即執行“滾回”程序。其不能解決所有安全問題,在華爲雲中,通過硬件和VM隔離。
(9)Stream SQL表達,機器學習
-
流式隨機森林:實時故障檢測
-
特徵提取
(10)應用場景: -
車聯網(Time GeoSpatia)(2D)
-
CS +IoT Edge(Beta)
-
流分析和ETL.
-
實時監控大盤
(11)Holt-Winters算法和流式隨機森林算法,實現檢測異常數據。