hadoop日誌分析系統二 第二部分利用hadoop平臺進行數據處理 第二中種方式 mapreduce方式

通過hbase處理hdfs儲存的原始數據,根據明確的用戶需求對hdfs中的數據進行二次處理,然後後進行儲存和添加索引,便於用戶查看

具體實現:

Hbase所創建的表的結構是固定的,表由行鍵、列族、列族中的具體的列組成

因爲任務調度有周期間隔,故其無法做到真正的實時查詢

所以hbase中的每條數據來自每次mapreduce的處理結果

所以hbase添加數據的方式就是在每次的mapreduce時,如果有hbase需要的數據,就添加進來

 

讀取數據:web藉口通過調用hbaseapi中的scan方法進行讀取即可

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章