如果採用Cloudera官方建議的安裝方式,即Cloudera Manager使用rpm的方式安裝,CDH使用Parcel方式安裝,會在操作系統內產生多種多樣的目錄。CDH安裝主要使用的目錄包括/etc,/usr,/var,/tmp,/opt共5個目錄,不同的目錄下保存不同的子文件夾以及多種多樣不同的文件內容主要涉及比如安裝包,配置文件,執行命令腳本等。本文Fayson會詳細講解各個目錄的作用以及建議規劃的大小。
- 測試環境:
1.操作系統:Redhat7.4
2.CM和CDH版本爲5.15.0
3.使用root用戶進行操作
1
/etc
1.CM與Agent
- 包含子目錄:
/etc/cloudera-scm-server
/etc/cloudera-scm-agent
- 目錄說明
Cloudera Manager和Agent的配置目錄,比如Manager的數據庫文件配置,Agent連接Manager的相關配置項目。
- 子目錄大小(參考)
16KB
28KB
- 目錄大小(參考,子目錄大小總和)
44KB
- 備註
/etc/cloudera-scm-server只有CM節點纔有,/etc/cloudera-scm-agent所有CDH集羣內的節點都會有
2.Hadoop組件配置目錄
- 包含子目錄及目錄大小:
- 目錄說明
所有Hadoop相關服務的客戶端配置,比如:hadoop服務的core-site.xml、hdfs-site.xml,Hive服務的hive-site.xml等。
- 目錄大小(參考,子目錄大小總和)
600KB
- 備註
所有Hadoop相關角色的節點都會存在這些目錄,對於Gateway節點需要部署了相關服務客戶端配置的纔有存在。
3.Hadoop組件配置及命令軟連目錄
- 目錄說明
所有Hadoop相關命令的軟鏈比如:
/etc/alternatives/hadoop -> /opt/cloudera/parcels/CDH-5.15.0-1.cdh5.15.0.p0.21/bin/hadoop
- 目錄大小
348KB
- 備註
所有Hadoop相關角色的節點都會存在這些目錄,對於Gateway節點需要部署了相關服務客戶端配置的纔有存在。
2
/usr
1./usr/share/cmf/目錄
- 目錄說明
主程序安裝目錄,包含Manager管理相關,Navigator等
- 目錄大小
951MB
- 備註
所有CDH節點包含
2./usr/lib64/cmf/目錄
- 目錄說明
Agent相關目錄包括依賴,程序代碼,環境變量等。
- 目錄大小
87MB
- 備註
所有CDH節點包含
3./usr/bin目錄
- 目錄說明
所有Hadoop相關命令的軟鏈,它們會再軟鏈到/etc/alternatives中去,比如:
/etc/bin/hadoop -> /etc/alternatives/hadoop
- 目錄大小
<1MB
- 備註
所有Hadoop相關角色的節點都會存在這些目錄,對於Gateway節點需要部署了相關服務客戶端配置的纔有存在。
3
/var
3.1
/var/lib
1.Cloudera Manager服務包含子目錄及目錄大小
2.Hadoop服務相關數據目錄
3.2
/var/run、/var/cache/yum
3.3
/var/log
1.Cloudera Manager相關服務包含子目錄及目錄大小
2.Hadoop相關服務運行日誌目錄
在這裏我爲大家介紹一個大數據的交流羣,615997810 大家有興趣的話可以加進來,每週每晚都有大數據基礎與項目實戰的課程更新,也可以和大家一起相互學習交流討論,羣裏的這些我整理了一些大數據資料可以領取(Hadoop,Spark,flink,hbase,es等等,更有源碼級的視頻講解資料),可以加羣直接找羣主免費領取哦。
3.4
Zookeeper與MySQL
4
/opt
5
/tmp