一、大數據的挑戰
大數據面對挑戰是你必須重新思考構建數據分析應用的方式。傳統方式的應用構建是基於數據存儲在不支持大數據處理的基礎之上。這主要是因爲一下原因:
1.傳統應用的基礎設施是基於傳統數據庫訪問模式設計的,它不支持Hadoop;
2.數據存儲在Hadoop之上,實時訪問集羣中部分數據是可行的;
3.Hadoop大數據存儲能力使得你可以存儲數據集的多個版本,來挑戰傳統覆寫數據方式。
二、大數據應用系統架構
三、架構說明
1.數據源層:DataSource數據的收集可以基於Flume或者Sqoop進行;
2.數據倉庫層:需要區分結構化數據和非結構化數據存儲,同時需要考慮過程數據的存儲問題;
3.業務層:針對數據處理層OOzie可以做爲工作流調度的工具,Map/Reduce任務可以作爲任務執行的單元;
4.實時查詢:必須加訪問限制和條件過濾;
。。。未完待續。。。
《Hadoop專業解決方案》同步更新中,請關注Hadoop高級培訓交流羣:293503507