hadoop 版本問題

最近在研究hadoop時,發現hadoop的版本很混亂。原來的版本都說0.X.X開始,後來發現有1.X.X和2.X.X 這樣就不太清楚了。

0.20.2版本以前(不含該版本)的配置文件都在default.xml中。

0.20.x以後的版本不含有eclipse插件的jar包,由於eclipse的版本不一,所以就需要自己編譯源碼生成對應的插件。

0.20.2——0.22.x版本的配置文件集中在conf/core-site.xml、 conf/hdfs-site.xml  和 conf/mapred-site.xml. 中。

0.23.x 版本有添加了yarn技術,配置文件集中在  conf/core-site.xml, conf/hdfs-site.xml, conf/yarn-site.xml and conf/mapred-site.xml.這4個文件上,好像技術變化比較大,但修改了什麼技術我不清楚,希望有大俠解答。同時他也對目錄的更新做了相應的變化(仿linux),目錄結構更加的清晰瞭然。

也許正式0.23.x版本的變化比較大,也許修改或添加了新的技術。讓很多基於hadoop的一些插件難以兼容,如hive、hbase、pig等都基於0.23.x以前的版本。然而以前的版本又要更新,所以在更新版本上不知道使用什麼版本編號?

所以apache就開始統一版本號,這樣從版本號就可以區分hadoop的功能。

0.22.x 直接升級到1.0.0 

0.23.x 直接升級到2.0.0

這樣就把hadoop分爲兩個版本 1和2 

1版本:主要基於原來的技術的升級和發展,同時支持其它技術的支持。如果想用hbase、hive等技術就只有選擇 版本1

2版本:主要基於新技術的推廣和發展,如果只是基於hadoop開發,這個是一個很好的選擇。

以上只代表個人的理解和觀點,同時也只對版本的變化表面說明,最技術上的變化就不懂了!

Ok ,希望能給你帶來點收獲,如果不對,就不要往心裏去,這樣會誤導你。高人指點。

發佈了14 篇原創文章 · 獲贊 0 · 訪問量 4萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章