1,cdh的介紹
CDH是Apache Hadoop和相關項目的最完整,經過測試的流行發行版。 CDH提供了Hadoop的核心元素 - 可擴展的存儲和分佈式計算 - 以及基於Web的用戶界面和重要的企業功能。 CDH是Apache許可的開放源碼,是唯一提供統一批處理,交互式SQL和交互式搜索以及基於角色的訪問控制的Hadoop解決方案。
Cloudera作爲一個強大的商業版數據中心管理工具,提供了各種能夠快速穩定運行的數據計算框架,如Apache Spark;使用Apache Impala做爲對HDFS,HBase的高性能SQL查詢引擎;也帶了Hive數據倉庫工具幫助用戶分析數據; 用戶也能用Cloudera管理安裝HBase分佈式列式NoSQL數據庫;Cloudera還包含了原生的Hadoop搜索引擎以及Cloudera Navigator Optimizer去對Hadoop上的計算任務進行一個可視化的協調優化,提高運行效率;同時Cloudera中提供的各種組件能讓用戶在一個可視化的UI界面中方便地管理,配置和監控Hadoop以及其它所有相關組件,並有一定的容錯容災處理;Cloudera作爲一個廣泛使用的商業版數據中心管理工具更是對數據的安全決不妥協!
CDH 提供:
靈活性 - 存儲任何類型的數據,並使用各種不同的計算框架進行處理,包括批處理,交互式SQL,自由文本搜索,機器學習和統計計算。
集成 - 在一個可與廣泛的硬件和軟件解決方案配合使用的完整Hadoop平臺上快速啓動並運行。
安全 - 過程和控制敏感數據。
可擴展性 - 啓用廣泛的應用程序並進行擴展和擴展,以滿足您的需求。
高可用性 - 充滿信心地執行關鍵業務任務。
兼容性 - 利用您現有的IT基礎設施和資源。
2,cdh的安裝
1,準備工作:
需要搭建的服務器,將這幾臺服務器的yum是好的,可以ping通外網,自己可以相互ping通
都安裝有scp(發送ssh的時候使用),免密登陸
其中yum源的掛載就不在這說了。
配置host(10.0.4.101 cdh001)
關閉防火牆
修改 /etc/selinux/config 下的 SELINUX=disabled (重啓後永久生效)
下載安裝在線安裝的文件(cloudera-manager-installer.bin)
因爲不知道怎麼放到這個上面,需要的話可以私聊發給你的(個人的微信也是可以的maochentingqiang)
2,配置服務器之間的免密登錄
這是配置免密登錄的一種,還有其他的方法也是可以的。這裏爲了方便只介紹這一種
# ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
# cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
# scp ~/.ssh/authorized_keys slave1:/root/.ssh/
# scp ~/.ssh/authorized_keys slave2:/root/.ssh/
3,cdh的前期安裝
1,改變 cloudera-manager-installer.bin 的執行權限
一般都是給777的權限
2,執行 cloudera-manager-installer.bin
./cloudera-manager-installer.bin
3.按照cloudera-manager的README 來安裝
4.閱讀Cloudera Manager Express License,然後按照提示選擇YES來確定接受授權(license)
5.讀取 Oracle 二進制 Code 授權許可協議,然後安裝
6.當安裝完成,Cloudera Manager 管理控制檯會提供一個完成的url包括默認端口7180
到這裏,整個cdh的搭建已經成功率一半了
4,cdh的後期安裝
由於這種方法使用的是在線搭建的,如果網速不是很快的話,整個過程會特別的慢。不要着急,耐心等待一下就可以了
接下來cdh會讓你選擇安裝的版本
選擇你需要的版本就可以了
合適cdh的安裝包中已有的軟件包
選擇需要安裝的主機。每個主機一行就行了。點擊繼續一直到這一步
使用默認的安裝,一直點擊繼續到安裝界面
這個地方會遇到一個問題
解決方法(mv /usr/bin/host /usr/bin/host.bak)
在每個節點上執行這就話之後,重新安裝
這是安裝完成的最後界面
在安裝完成後,需要選擇安裝服務。根據自己的需要和集羣的配置,選擇適合自己的服務
選擇不同的安裝服務,數據庫的連接也是不一樣的。可以參考下面的
需要選擇安裝的數據庫。如果選擇mysql的話,是需要給所有的服務器下發送覺得不錯的jar才行
在點擊下一步之前,一定要有測試連接。對於測試連接會有很多的問題,下篇文章會更新到,可以看下篇文章
到這裏,整個就安裝完成了
以上就是筆者在使用在線安裝cdh的酥油步驟了,下篇文章會更新到所有出現的問題。
如果有問題的話,可以在下方評論或是私聊我。(個人微信也可以maochentingqiang)