Apache Spark在海致大數據平臺中的優化實踐

本文來自由海致網絡技術公司翟士丹分享。專注於大數據技術領域,Apache Spark Contributor,有豐富的Spark SQL引擎調優經驗。
海致全稱海致網絡技術公司,成立於2013年7月。作爲一家技術驅動的創業型公司,海致的創始班底擁有豐富的技術經驗。核心團隊成員來自百度、微軟、IBM、EMC、硅谷等知名企業的資深互聯網專家。

大數據數據平臺的核心組成部分

  • 多數據整合
  • 自助式數據準備
  • 可視化探索式分析
  • 安全快捷的分發機制
  • 覆蓋全面的應用場景

file

產品架構如下:

file

平臺的整體技術架構如下:

file

多數據整合,形成統一的數據口徑:

file
file
file

靈活易用高性能的可視化探索式分析:

file
file
file
file

大數據平臺的技術挑戰與建設難點

數據同步:

file
file

OLAP任意多維分析引擎實現:

file
file
file
file
file

數據建模系統實現:

file

機器學習實現:
file
file
file
file
file
file

性能及穩定性優化:

file
file
file
file
file
file
file

大數據平臺私有化部署及智能監控

file
file

聲明:本號所有文章除特殊註明,都爲原創,公衆號讀者擁有優先閱讀權,未經作者本人允許不得轉載,否則追究侵權責任。

關注我的公衆號,後臺回覆【JAVAPDF】獲取200頁面試題!
5萬人關注的大數據成神之路,不來了解一下嗎?
5萬人關注的大數據成神之路,真的不來了解一下嗎?
5萬人關注的大數據成神之路,確定真的不來了解一下嗎?

歡迎您關注《大數據成神之路》

大數據技術與架構

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章