大數據學習隨手記——大數據與傳統數據的對比

首先得了解大數據是什麼?
數據集的大小已經遠遠超過了現有傳統的技術方案(數據庫)或工具他們的處理能力的數據。簡單點來說就是傳統的技術解決不了或者處理太慢,所以纔有了大數據。
大數據有哪些特點?
一.Volume海量化 (處理的數據量大)
二.Variety多樣化 (數據類型複雜,大部分都是結構化,半結構化數據)
三.Velocity快速化 (處理大量數據快,數據的增長率快)
四.value價值高 (以低成本創造高價值)

大數據能做什麼
首先前提是海量數據的情況下
1.快速查詢
2.數據存儲
3.快速計算
4.實時計算
5.數據挖掘
大數據對比傳統技術處理方式區別

					傳統數據							  		 大數據
拓展性  	 縱向拓展(遇到瓶頸,硬件升級)						橫向拓展(遇到瓶頸,增加硬件)、
分佈式	     資源集中(集中計算,集中存儲,串行處理)     		資源分佈(分佈計算,分佈存儲,並行處理)
可用性	     單份數據(數據都集中在一臺大的數據庫中)      		數據複製(大數據會將數據切分並且複製兩份分配存儲到服務器集羣中)
模型		 移動數據(處理數據是需要將數據取出再計算再存入)    移動計算程序(將需要計算的程序放到服務器集羣中)

大數據技術快的原因
1、分佈式存儲
2、分佈式並行計算
3、移動程序到數據端
4、更前衛、更先進的實現思路
5、更細分的業務場景
6、更先進的硬件技術+更先進的軟件技術
大數據的項目流程

第一步:生產數據
第二步:收集數據
第三步:存儲數據
第四步:分析需求
第五步:數據預處理
第六步:數據計算
第七步:結果存儲
第八步:結果展現
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章