基於mdrill的大數據分析

數據越來越多,傳統的關係型數據庫支撐不了,分佈式數據倉庫又非常貴。幾十億、幾百億、甚至幾千億的數據量,如何才能高效的分析?
mdrill是由阿里媽媽開源的一套數據的軟件,針對TB級數據量,能夠僅用10臺機器,達到秒級響應,數據能實時導入,可以對任意的維度進行組合與過濾。
   mdrill作爲數據在線分析處理軟件,可以在幾秒到幾十秒的時間,分析百億級別的任意組合維度的數據。
在阿里10臺機器完成每日30億的數據存儲,其中10億爲實時的數據導入,20億爲離線導入。目前集羣的總存儲3200多億80~400維度的數據。

mdrill的特性

1.滿足大數據查詢需求:adhoc每天的數據量爲30億條,隨着日積月累,數據會越來越大,mdrill採用列存儲,索引,分佈式技術,適當的分區等滿足用戶對數據的實時在線分析的需求。
2.支持增量更新:離線形式的mdrill數據支持按照分區方式的增量更新。
3.支持實時數據導入:在僅有10臺機器的情況下,支持每天10億級別(高峯每小時2億)的實時導入。
4.響應時間快:列存儲、倒排索引、高效的數據壓縮、內存計算,各種緩存、分區、分佈式處理等等這些技術,使得mdrill可以僅在幾秒到幾十秒的時間分析百億級別的數據。
5.低成本:目前在阿里adhoc僅僅使用10臺48G內存的PC機,但確存儲了超過千億規模的數據。

6.全文檢索模式:在mdrill的全文檢索模式數據可以直接存儲在hdfs中,並且以每天160億*70維度的數據增量提供全文檢索服務(注:該模式下不能進行統計,只能進行關鍵詞匹配查詢數據明細)

mdrill的定位

大數據

要數據量大,幾十億上百億。
還要省錢,普通PC就能搞定。

多維分析

要任意維度組合與過濾
還要對任意指標進行統計和排序

即席查詢

要查詢快,秒級響應。
還要數據快,數據分鐘級延遲。


資源列表

其他


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章