Hadoop技術優缺點詳解

給大家介紹一下關於Hadoop技術的優缺點,目前我們正被數據包圍,全球43億部電話、20億位互聯網用戶每秒都在不斷地產生大量數據,人們發送短信給朋友、上傳視頻、用手機拍照、更新社交網站的信息、轉發微博、點擊廣告等,使得機器產生和保留了越來越多的數據。數據的指數級增長對處於市場領導地位的互聯網公司,如Facebook、谷歌、雅虎、亞馬遜、騰訊等提出了挑戰。它們需要對TB級別和PB級別的數據進行分析處理,以發現哪些網站更受歡迎,哪些商品更具有吸引力,哪些廣告更吸引用戶。傳統的工具對於處理如此規模的數據集越來越無能爲力。

現在,Hadoop應運而生,龐大的信息流有了新的處理平臺。今天給大家分享下Hadoop技術的優缺點。

1、Hadoop的優點

(1)Hadoop具有按位存儲和處理數據能力的高可靠性。

(2)Hadoop通過可用的計算機集羣分配數據,完成存儲和計算任務,這些集羣可以方便地擴展到數以千計的節點中,具有高擴展性。如果你對大數據開發感興趣,想系統學習大數據的話,可以加入大數據技術學習交流扣羣:數字522+數字189+307,私信管理員即可免費領取開發工具以及入門學習資料

(3)Hadoop能夠在節點之間進行動態地移動數據,並保證各個節點的動態平衡,處理速度非常快,具有高效性。

(4)Hadoop能夠自動保存數據的多個副本,並且能夠自動將失敗的任務重新分配,具有高容錯性。

2、Hadoop的缺點

(1)Hadoop不適用於低延遲數據訪問。

(2)Hadoop不能高效存儲大量小文件。

(3)Hadoop不支持多用戶寫入並任意修改文件。

Hadoop的核心組件

3、Hadoop版本簡介:

Hadoop自誕生以來,主要出現了Hadoop1、Hadoop2、Hadoop3三個系列多個版本。

HDFS和MapReduce是Hadoop1的核心組件,Hadoop生態圈裏的很多組件都是基於HDFS和MapReduce發展出來的。在繼Hadoop1之後出現了Hadoop2,Hadoop2在Hadoop1的基礎上做了改進。相比Hadoop1,Hadoop2的三大核心組件分別是HDFS、MapReduce、Yarn。目前市面上絕大部分企業使用的是Hadoop2。

Hadoop2的一個公共模塊和三大核心組件組成了四個模塊,簡介如下:

(1)HadoopCommon:爲其他Hadoop模塊提供基礎設施。

(2)HDFS:具有高可靠性、高吞吐量的分佈式文件系統。

(3)MapReduce:基於Yarn系統,分佈式離線並行計算框架。

(4)Yarn:負責作業調度與集羣資源管理的框架。

Hadoop技術儼然成爲大數據的關鍵點,也是大數據開發課程的重中之重。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章