阿里大數據產品體系是基於阿里雲飛天平臺上的數據處理服務。主要分爲阿里雲大數據基礎產品和阿里雲數加平臺,其產品架構圖如下所示:
一、阿里雲大數據基礎產品
1、雲數據庫——RDS(ApsaraDB for RDS的簡稱)
- 穩定可靠、可彈性伸縮的在線數據庫服務
- 即開即用,DMS可視化界面
- 兼容MySQL,SQL server,PG等關係型數據庫
- 提供數據庫在線擴容,備份回滾,性能監控及分析等功能
- 只讀實例和臨時實例
優勢:
- 雙機熱備——秒級切換,服務可用性達99.5%
- 安全防護——防DDOS攻擊,SQL注入警告,數據多重備份
- 簡單易用——一鍵式數據遷移,可視化管理操作
2、分佈式關係型數據庫——DRDS(Distributed Relational Database Service)
- 基於RDS的分佈式數據存儲和檢索產品
- 水平拆分可平滑擴展
- 解決用戶單RDS無法支撐業務的苦難
- 降低用戶使用分佈式數據庫的難度
優勢:
- 簡單易用——兼容MySQL(交互協議、SQL)
- 穩定可靠——共享阿里組件
- 分佈式——水平拆分,容量達到單節點百倍
- 可擴展——增減節點對應用幾乎無影響,高效數據遷移
3、表格存儲——TS(Table Store)
- 構建在阿里雲飛天分佈式系統上的NoSQL數據存儲服務
- 海量結構化數據的存儲和實時訪問
- 彈性資源預留
- 實時監控顯示
優勢:
- 穩定——自動故障檢測和恢復,系統可用性99.9%
- 安全——用戶級別的數據隔離、訪問控制和權限管理,數據冗餘備份
- 大規模——單表到百TB級數據存儲
- 高性能——毫秒級別單行讀寫延遲,十萬級別QPS
4、分析型數據庫——ADB(Analytic DB)
- 海量數據實時高併發在線分析雲計算平臺
- 自由的計算和查詢能力
- 高可用性和高安全性
- 全面兼容MySQL協議
優勢:
- 高度的計算自由——通過SQL進行靈活的多維分析、數據透視、數據篩選等
- 急速的響應時間——毫秒級的千億級數據透視,毫秒級的大表關聯計算
- 簡單的使用方式——標準SQL,支持標準MySQL協議,內置多種雲平臺數據的輸入輸出
- 豐富的特點功能——高性能自動索引,海量數據的急速導出等
5、大數據計算服務——MaxCompute
- 針對TP/BP級數據、實時性要求不高的分佈式處理能力
- 大數據運算能力
- 開箱即用
- 數據安全
優勢:
- 分佈式——分佈式集羣架構,可靈活擴展
- 安全性——自動存儲容錯機制,所有計算都在沙箱進行
- 易用性——全面支持基於SQL的數據處理,提供標準API,高併發高吞吐量的數據上傳下載
- 管理與授權——多用戶管理協同分析數據,多種方式對用戶權限管理,靈活的數據訪問控制決策
6、數據集成(Data Integration)
數據集成是阿里集團對外提供的穩定高效、彈性伸縮的數據同步平臺,爲阿里雲大數據計算引擎提供的離線(批量)數據進出通道。
優勢:
- 多:支持數據源種類多,多樣數據通道,齊全的數據傳輸方式,豐富的數據處理插件;
- 快:高效的調用方式,強勁的傳輸速度,強大的吞吐力;
- 好:健壯的傳輸通道,智能的錯誤檢測,自動的傳輸恢復;
- 省:開箱即用,動態分配,彈性伸展,按需申請,按量付費;
7、對象存儲(Object Storage Service,簡稱OSS)
- 提供海量、安全、低成本、高可靠的雲存儲服務;
- 即開即用,無限大空間的存儲集羣;
- 通過API/SDK接口或OSS遷移工具方便將海量數據移入或移除;
- 存儲對象操作具有原子性,強一致性;
優勢:
- 可靠:服務可用性99.99%,數據持久性99.999999999%(9個9),多重備份,規模自動擴展;
- 安全:用戶級別的資源隔離,異地容災,企業級多層安全防護,多種授權機制;
- 低成本:多線GBP骨幹網絡,無帶寬限制,上行流量免費;
- 多種類數據處理能力:圖片處理、音視頻轉碼、內容加速分發、鑑黃服務,歸檔服務等。
二、阿里雲數加平臺
阿里雲數據產品均集成在數加平臺,阿里雲公共雲數加平臺的定位:一站式數據平臺(集成包括從基礎數據分析應用到大數據開發、調度、運維,到機器學習等);提供三層服務(底層計算、數據平臺分析工具、應用層服務)行業解決方案。
1、DataWorks(原Data IDE)
數據工場DataWorks(原大數據開發套件Data IDE)是基於MaxCompute作爲計算和存儲引擎的用於工作流可視化開發和託管調度運維的海量數據離線加工分析平臺。
優勢:
- 專業:阿里多年DW/BI經驗沉澱,全鏈路解決方案,高效率低成本;
- 功能強大:集成式組件服務,多種異構數據源支持,多人協同代碼開發,完善的版本管理,分鐘、小時級調度、拖拽式數據分析與可視化算法建模;
- 大數據處理能力:完美融合Max Compute,支持十萬級任務的有序運行及管理。
2、Quick BI
提供海量數據實時在線分析服務,支持拖拽式操作,提供了豐富的可視化效果,可以輕鬆自如地完成數據分析,業務數據探查,報表製作等工作。
優勢:
- 門檻低:拖拽操作,簡單易用;
- 功能強:多樣的解決方案,豐富的展現手段;
- 大數據處理能力:數據分析,數據處理能力強大
3、機器學習PAI
- 基於MaxCompute、GPU集羣,支持MR、MPI、SQL、BSP、SPARK等計算類型;
- 內置阿里、螞蟻多年沉澱的分佈式算法,支持百億級數據量訓練;
- WEB界面,通過拖、拉、拽等方式即可完成複雜數據挖掘流程;
優勢:
- 提供從數據預處理到模型評估的一站式平臺服務,顯著降低大數據算法建模門檻;
- 支持自定義算法和組件,靈活開放的個性化設置,極大地提高了建模效率;
- 提供豐富的分佈式算法,提高模型精度,助力海量數據中挖掘出業務價值。