Hadoop2.2.0來了,大數據各框架又風起雲湧!

        2013年10月15日Hadoop2的穩定版本2.2.0發佈了!它解決了NameNode的水平擴轉問題,也解決了NameNode的單點故障問題,也引入了引領大數據下一輪次革命的具有劃時代意義的資源管理框架YARN!

        話說大數據2.0時代的來臨就是以YARN爲基礎的新一代Hadoop框架的發佈爲起點。

        原來的Hadoop上只跑一個MapRedeuce來進行離線計算,大不了再結合下Hhbas來做點在線或者半在線的存儲,也就這麼幾招在折騰。對於一個互聯網企業來講,這些還遠不夠,還得結合Storm來處理實時的分析,還得采用Spark來完成在線的機器學習與計算。Hadoop、storm、Spark這些合起來才能搞定大數據相關企業的基本需求!但是這些都是獨立框架,相互直接雖說是能夠互聯互通,但是作爲運維層面來講卻是獨立集羣,需要獨立維護!YARN的到來讓這一切都變了,Clouder在推進SPARK的Hadoop化,Hortonworks在推進Storm的Hadoop化,這兩項革命性的系統重構完成之後,Hadoop就不是原來的Hadoop了,Hadoop就成了大數據領域的操作系統了,成了一個平臺,可以讓那些解決某一方面、某一領域問題的框架來依託在YARN的懷抱中成長!

    真的很佩服Hortonworks的架構師Arun Murthy對YARN的貢獻!很多東西,別人提出來了,甚至做出來了,你一看就明白,甚至覺得事情就應該那樣去做,但是自己面臨同樣困局的時候,卻束手無策!

    假若我去做,我該怎麼做呢?多問幾個爲什麼!!!!!!!!!!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章