華爲雲學習筆記

1圖引擎服務(Graph Engine Service)

(1)對象:以“關係”爲基礎的“圖”結構數據。
(2)Gremli是Apache Tinkerpop框架下的圖遍歷語言。Gremlin是一種函數式數據流語言。(圖查詢語言)
(3)應用場景:

  • 好友推薦:基於三元閉包理論。
  • 社交網絡:個體價值發掘(PageRank)
  • 社交網絡:社團發現(k-core,Louvain, Label Propagation)
  • 社交/多媒體/電商:實時推薦(Pixie,GRank)
    (4)圖計算算法:PageRank,最短路徑,k-hop,聚類係數,三角計算,Centrality,最大關聯子圖,Degree Correlation,K-core,標籤傳播,Louvain,PPR,關係預測,傳播模型,node2vec等。
    (5)實時推薦系統的隨機遊走模型。

2實時流計算服務(Cloud Stream Service)

(1)數據流普遍,但沒有充分產生價值
(2)實時:計算框架按事件逐條實時處理流:one by one的數據流
(3)計算:數學運算,數據分析,算法模型執行等。
(4)實時流計算:實時處理當下正在發生的流數據,逐條大數據分析或運行機器學習算法。
(5)大數據AI:越實時越有價值。
(6)開源主流框架:Spark API,Apache Flink。
(7)流計算雙引擎:Flink +Spark
(8)沙箱問題:與瀏覽器安全相關,讓可疑網頁在其中運行,與系統隔離,一旦發現其病毒屬性,立即執行“滾回”程序。其不能解決所有安全問題,在華爲雲中,通過硬件和VM隔離。
(9)Stream SQL表達,機器學習

  • 流式隨機森林:實時故障檢測

  • 特徵提取
    (10)應用場景:

  • 車聯網(Time GeoSpatia)(2D)

  • CS +IoT Edge(Beta)

  • 流分析和ETL.

  • 實時監控大盤
    (11)Holt-Winters算法和流式隨機森林算法,實現檢測異常數據。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章