胖子哥的大數據之路(二)- 大數據結構化數據存儲應用模式

一、楔子

胖子哥是我網名,叫了很多年的網名,網名的來歷與自己的滄桑和身材有關,不知是IT改變了我,顯得蒼老,還是我本就蒼老,順應了IT行業的需要。25歲那面,曾被跟我一樣高的漂亮美眉叫叔叔,從此再也不敢打小姑娘的注意,走上了重口味熱愛阿姨級別女性的不歸路;曾被三十五、六歲的同事阿姨說蒼老:看你也就三十五六吧,那年我25;週一的時候,還有一個60後的同事問及我的年齡,他很含蓄的,明顯帶着保留的口吻問我:你是75年的吧?因爲他一直認爲和我一般大。然後...然後淚奔。關於體型方面也是個悲劇、三圍相等,體重大於身高的角色,算是已經胖出了一定層次,每次聽到別人叫我胖子,就感覺小小的自尊多少受到了傷害,然後就給自己在後面加了一個哥子,算是給自己遮半張臉吧。閒話就聊到這裏,還是繼續胖子哥的大數據之路吧,這次要談的還是數據倉庫。

二、實時查詢數據庫-HDFS&HBase

  傳統關係型數據庫基於存儲模式的問題帶來的存儲和訪問瓶頸,是無法靠自身解決的,也就有了基於Big-Table型的NoSQL數據庫用武之地,比較典型技術組合就是HDFS+HBase,利用HDFS的分佈式、高可用數據存儲,結合HBase面向列的數據存儲模型,從而解決大數據量存儲的問題;結合HBase基於Rowkey自然序的存儲,從而實現海量數據快速查詢。當然這種模式只適用於結構型數據,而且只適用於歷史數據查詢,而不適用於事務型業務的處理,從而產生了大數據在結構化數據存儲方面的第一種模式:實時查詢數據庫;

三、大數據倉庫-HDFS&Hive

  基於關係型數據庫的數據倉庫,同樣面臨數據存儲規模的問題,因此在銀行業務中,同樣也只能存儲短期的數據,其目標在在於支持基於業務年度的報表統計和業務分析,而對於超過一定期限的數據仍然在走數據磁盤或磁帶存儲的模式。基於大數據技術體系,採用HDFS+Hive的模式,構建大數據倉庫,則可以很輕鬆的解決數據大基數存儲的問題。從而產生了大數據在結構化數據數據存儲方面的第二種模式:大數據倉庫;

四、替換還是互補-大家來回答,期待你的答案

問題一

實時查詢數據庫能否替換實時操作數據庫嗎?

問題二

大數據倉庫可以替代數據倉庫嗎?

五、關於大數據題外話

  曾經就乾貨與溼貨的問題,與人發生過爭辯,還是不淡定了。其實對於一個口渴的人,水就是乾貨,同樣,對於一個迷路的人,指南針就是乾貨。見仁見智的事,不再做爭辯。重在分享,送給大數據傳統企業應用實施的探路者們,送給需要的人,立此存照。

  持續更新中,未完待續。。。。

  下期預告:大數據倉庫項目的需求分析該如何去做。敬請期待。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章