大數據之路、阿里巴巴大數據實踐讀書筆記 --- 第四章、離線數據開發

 

阿里巴巴的數據計算層包含兩大體系:

  • 數據存儲以及計算平臺

    • 離線計算平臺MaxCompute

    • 實時計算平臺StreamCompute

  • 數據整合以及管理平臺

    • OneData

 

 

研發崗位的大致包括爲:

  1. 瞭解需求

  2. 模型設計

  3. ETL開發

  4. 測試

  5. 發佈上線

  6. 日常運維

  7. 任務下線

 

與傳統的數據倉庫開發(ETL)相比,阿里數據研發特點:

  • 業務變更頻繁

  • 需求快速交付

  • 頻繁發佈上線

  • 運維任務多

  • 系統環境複雜

 

MaxCompute是由阿里雲自主研發的海量數據處理平臺,主要服務於海量數據的存儲和計算,提供完善的數據導

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章