Hadoop項目規劃:硬件

規劃硬件我們主要介紹兩個方面:一個是Master怎麼規劃,一個是Slave怎麼規劃,選擇是不一樣的。其他規劃諸如容量以及操作系統的選擇也會簡單介紹,對於瞭解Hadoop的操作環境有着重要幫助作用。

首先我們看一下Slave,它是用來存儲數據然後進行計算的,在選擇配置的時候通常要優先考慮處理器。我們知道Hadoop的核心並不是在單臺機器上進行多複雜的運算,它是分佈式的,所以對於處理器的要求並不高,那麼選擇中等的數據器就可以(比如:2*62.9主頻)。

至於內存方面,要儘可能給高一點,中端給到256GB RAM,高端的給到512GB RAM。網絡方面中端給到1GB以太網,高端的給到10GB以太網。這裏重點要講的是磁盤驅動,16*3TB SATA驅動(中端的),24*1TB SAS驅動(高端的),我們發現越高端磁盤越多,訪問效率也就越高。在磁盤驅動這裏也會涉及到一個概念Non-RAID,大家瞭解一下,具體可以自己去挖掘。

交換機使用專用的網絡設施,Hadoop將會使資源飽和,節點都連接到機架交換機,機架之間通過核心交換機通信。

接下來我們重點強調Master節點,Master沒有業務數據,不需要計算,但是Master存儲有源數據,所以Master節點很重要,在使用機器的時候如果條件允許,最好選擇高端的機器,運營商級別的硬件,雙電源、以太網卡,所有的模塊都做冗餘。它配置有Raid,因爲Master上面就是源數據,數據沒有拷貝。20個節點以下集羣配置64GB RAM300個節點以下集羣配置96GB內存,更大的集羣配置128GB內存。

至於容量規劃以及操作系統的選擇,我們不做過多的說明,瞭解就可以。容量規劃我們重點考慮複本機制和臨時空間,以及服務器本身需要的空間。在這裏我們必須清楚Hadoop自動使用新節點,很多集羣開始很小(少於10個節點),並隨着數據和處理的增長而增長,Hadoop集羣可以增長到上千個節點。而操作系統一般選擇擅長管理的發行版,也可以瞭解一下幾個:CentOS:面向服務器,而不是工作站;RedHat企業版linuxUbuntu非常流行的發行版;使用LTS(長期支持)的版本;SuSE在歐洲非常流行的發行版。

以上就是根據自己的經驗對Hadoop硬件環境做的一個介紹,如果有什麼不清楚的,比如Non-raid,可以自己去找資源充電。我平常也喜歡看一些別人分享的學習知識,從而彌補自己知識體系的欠缺,比如“大數據時代學習中心”。另外喜歡看一些實際的大數據案例,試着去分析案例中的問題,不斷提升自己調用知識的能力,比如“大數據cn”,大家共勉,一起進步。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章