⌘ 最低Java版本從7升級到8
⌘ 引入糾刪碼(Erasure Coding)，未來趨勢
主要解決數據量大到一定程度磁盤空間存儲能力不足的問題.
HDFS中的默認3副本方案在存儲空間中具有200%的額外開銷。但是，對於I/O活動相對較少冷數據集，在正常操作期間很少訪問其他塊副本，但仍然會消耗與第一個副本相同的資源量。
糾刪碼能勾在不到50%數據冗餘的情況下提供和3副本相同的容錯能力，因此，冷數據可以使用糾刪碼作爲副本機制的改進是自然而然，也是未來的趨勢.
本來默認是128M爲一個塊，糾刪碼可以將其打散成1M一個塊
⌘ 重寫了Shell腳本
重寫了Shell腳本，修改了之前版本長期存在的一些錯誤，並提供了一些新功能,在儘可能保證兼容性的前提下（舊的不要用了，可能有問題），一些新變化仍然可能導致之前的安裝出現問題。
例如:
- 所有Hadoop Shell腳本子系統現在都會執行hadoop-env.sh這個腳本，它允許所有環節變量位於一個位置；
- 守護進程已通過*-daemon.sh選項從*-daemon.sh移動到了bin命令中，在Hadoop3中，我們可以簡單的使用守護進程來啓動、停止對應的Hadoop系統進程；
⌘ 引入了新的API依賴
之前Hadoop客戶端操作的Maven依賴爲hadoop-client，這個依賴直接暴露了Hadoop的下級依賴，當用戶和Hadoop使用相同依賴的不同版本時，可能造成衝突。
Hadoop3.0引入了提供了hadoop-client-api 和hadoop-client-runtime依賴將下級依賴隱藏起來，一定程度上來解決依賴衝突的問題
⌘ MapReduce任務的本地化優化
MapReduce引入了一個NativeMapOutputCollector的本地化(C/C++)實現，對於shuffle密集的任務，可能提高30%或者更高的性能
⌘ 支持超過兩個NN
HDFS NameNode高可用性的初始實現爲單個Active NameNode 和 單個 Standby NameNode, 將edits複製到三個JournalNode。 該體系結構能夠容忍系統中一個NN或者一個JN故障.但是，某些部署需要更高程序的容錯能力，Hadoop3.x允許用戶運行一個Active NameNode 和多個Standby NameNode。
⌘ 許多服務的默認端口改變了
Hadoop3.x之前，多個Hadoop服務的默認端口位於Linux臨時端口範圍(63768~61000). 這意味着在啓動時，由於與另一個應用程序衝突，服務有時無法綁定到端口.
在Hadoop3.x中，這些可能衝突的端口已移出臨時範圍，受影響的有NameNode ,
SecondaryNamenode , DataNode 和 KMS
⌘ 添加對Microsoft Azure Data Lake 和 阿里雲對象存儲系統的支持
⌘ DataNode內部實現Balancer
一個DN管理多個磁盤，當正常寫入時，多個磁盤是平均分配的。然而當添加新磁盤時，這種機制會造成DN內部嚴重的傾斜。
之前的DataNode Balancer只能實現DN之間的數據平衡，Hadoop3.x實現了內部的數據平衡。
⌘ 重做的後臺和任務堆內存管理
已實現根據服務器自動配置堆內存，HADOOP_HEAPSIZE變量失效。簡化MapTask 和ReduceTask的堆內存配置，現已不必同時在配置中和Java啓動選項中指定堆內存大小，舊有配置不會受到影響。
⌘ HDFS實現服務器級別的Federation分流
對於HDFS Federation， 添加了一個對統一命名空間的RPC路由層 。 和原來的HDFS Federation沒有變化，只是目前掛在管理不必在客戶端完成，而是放在的服務器，從而簡化了HDFS Federation訪問。
⌘ Yarn的時間線服務升級到V2
Yarn的時間線服務是MRJobHistory的升級版，提供了在Yarn上運行第三方程序的歷史支持，該服務在Hadoop3.0升級爲第二版
⌘ 容量調度器實現API級別的配置
現在容量調度器可以實現通過REST API來改變配置，從而讓管理員可以實現調度器自動配置。
⌘ Yarn實現更多種資源類型的管理
Yarn調度器現已可以通過配置實現用戶自定義的資源管理。現在Yarn可以根據CPU和內存以外的資源管理其任務隊列
參考:
https://blog.csdn.net/chj_xc/article/details/54907029
https://www.cnblogs.com/smartloli/p/8827623.html
https://www.cnblogs.com/smartloli/p/9028267.html
https://www.csdn.net/gather_2f/MtTaYg1sMDk3MS1ibG9n.html
用博客見證成長，用行動證明我在努力。
如果你有緣看到我博客，對你有幫助、喜歡博客內容，請“點贊” “評論”“收藏”一鍵三連哦！