大數據之路、阿里巴巴大數據實踐讀書筆記 --- 第四章、離線數據開發

 

阿里巴巴的數據計算層包含兩大體系：

• 數據存儲以及計算平臺

• • 離線計算平臺MaxCompute

  • 實時計算平臺StreamCompute

• 數據整合以及管理平臺

• • OneData

 

 

研發崗位的大致包括爲：

1. 瞭解需求

2. 模型設計

3. ETL開發

4. 測試

5. 發佈上線

6. 日常運維

7. 任務下線

 

與傳統的數據倉庫開發（ETL）相比，阿里數據研發特點：

• 業務變更頻繁

• 需求快速交付

• 頻繁發佈上線

• 運維任務多

• 系統環境複雜

 

MaxCompute是由阿里雲自主研發的海量數據處理平臺，主要服務於海量數據的存儲和計算，提供完善的數據導