CDH組件的安裝| HDFS的配置 | Flume| Kafka|

 

一. HDFS的參數配着

 1. 修改HDFS的權限檢查配置

關閉HDFS中的權限檢查：dfs.permissions。

 

2. 配置Hadoop支持LZO

　　點擊主機，在下拉菜單中點擊Parcel

   

     點擊配置

  找到遠程Parcel存儲庫URL，點擊最後一欄的加號，增加一欄，輸入

    http://archive.cloudera.com/gplextras/parcels/latest/，之後點擊保存更改

   返回Parcel列表，可以看到多出了LZO，選擇下載，下載完成後選擇分配，分配完成後選擇激活。

  安裝完LZO後，打開HDFS配置，找到“壓縮編碼解碼器”一欄，點擊加號，添加com.hadoop.compression.lzo.LzopCodec後保存更改

打開YARN配置，找到MR 應用程序 Classpath，添加/opt/cloudera/parcels/HADOOP_LZO/lib/hadoop/lib/hadoop-lzo-cdh4-0.4.15-gplextras.jar

 更新過期配置，重啓進程

 3. 配置NameNode HA

 1）進入HDFS頁面點擊啓用High Availability

 2）命名

 3）分配角色

 4）審覈更改

 5）等待啓動服務

 

二. Flume安裝

　　1.  日誌採集Flume安裝

 三. Kafka安裝

可以選擇在線安裝和離線包安裝，在線安裝下載時間較長，離線包安裝時間較短。這裏我們爲了節省時間，選擇離線安裝。

方式一直接點擊下載，但是版本問題

 

 方式二：

 

方式三：離線安裝

   csd包: http://archive.cloudera.com/csds/kafka/

  parcel包: http://archive.cloudera.com/kafka/parcels/3.0.0/

 

1）在hadoop101上創建/opt/cloudera/csd目錄
[root@hadoop101 parcel-repo]# mkdir -p /opt/cloudera/csd
2）上傳KAFKA-1.2.0.jar到/opt/cloudera/csd目錄，並修改所有者和所有者的組
[root@hadoop101 cloudera]# chown cloudera-scm:cloudera-scm /opt/cloudera/csd/ -R
3）上傳KAFKA-4.0.0-1.4.0.0.p0.1-el6.parcel、KAFKA-4.0.0-1.4.0.0.p0.1-el6.parcel.sha1到
  /opt/cloudera/parcel-repo目錄，並修改KAFKA-4.0.0-1.4.0.0.p0.1-el6.parcel.sha1名稱爲KAFKA-4.0.0-1.4.0.0.p0.1-el6.parcel.sha

[root@hadoop101 cloudera]# ll
總用量 16
drwxr-xr-x 2 root         root         4096 4月   5 20:24 csd
drwxr-xr-x 2 root         root         4096 4月   5 19:39 parcel-cache
drwxr-xr-x 2 cloudera-scm cloudera-scm 4096 4月   5 19:38 parcel-repo
drwxr-xr-x 5 cloudera-scm cloudera-scm 4096 4月   5 19:39 parcels
[root@hadoop101 cloudera]# cd csd/
[root@hadoop101 csd]# ll
總用量 0
[root@hadoop101 csd]# ll
總用量 8
-rw-r--r-- 1 root root 5670 4月   5 20:26 KAFKA-1.2.0.jar
[root@hadoop101 csd]# chown cloudera-scm:cloudera-scm /opt/cloudera/csd/ -R
[root@hadoop101 csd]# ll
總用量 8
-rw-r--r-- 1 cloudera-scm cloudera-scm 5670 4月   5 20:26 KAFKA-1.2.0.jar

4）ClouderManager中選擇Parcel->檢查Parcel->Kafka點擊分配->激活

 

 

5）ClouderManager中選擇Parcel->檢查Parcel->Kafka點擊分配->激活

 

 

 

 

 

 

[root@hadoop101 parcel-repo]# ll
總用量 1647188
-rw-r--r-- 1 root root 1620405492 4月   5 18:14 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
-rw-r--r-- 1 root root         41 4月   5 18:14 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.sha
-rw-r----- 1 root root      61986 4月   5 18:16 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel.torrent  //代表已經激活
-rw-r----- 1 root root     140552 4月   5 19:38 HADOOP_LZO-0.4.15-1.gplextras.p0.123-el6.parcel
-rw-r----- 1 root root         41 4月   5 19:38 HADOOP_LZO-0.4.15-1.gplextras.p0.123-el6.parcel.sha
-rw-r----- 1 root root        188 4月   5 19:38 HADOOP_LZO-0.4.15-1.gplextras.p0.123-el6.parcel.torrent
-rw-r--r-- 1 root root   66008160 4月   5 20:34 KAFKA-3.0.0-1.3.0.0.p0.40-el6.parcel
-rw-r--r-- 1 root root         41 4月   5 20:34 KAFKA-3.0.0-1.3.0.0.p0.40-el6.parcel.sha1
-rw-r--r-- 1 root root      72312 4月   5 18:13 manifest.json

[root@hadoop101 parcel-repo]# mv /opt/cloudera/parcel-repo/KAFKA-3.0.0-1.3.0.0.p0.40-el6.parcel.sha1 KAFKA-3.0.0-1.3.0.0.p0.40-el6.parcel.sha  
//所有框架都要這樣改名

Kafka安裝

　　 回到首頁，點擊添加服務

 

 

修改Kafka的堆大小爲256M

 

 

 

 

Sqoop的安裝

驗證是否按照成功
[hdfs@hadoop104 ~]$ sqoop-list-databases --connect jdbc:mysql://hadoop104:3306 --username root -P
Warning: /opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/bin/../lib/sqoop/../accumulo does not exist! Accumulo imports will fail.
Please set $ACCUMULO_HOME to the root of your Accumulo installation.
19/08/21 16:29:45 INFO sqoop.Sqoop: Running Sqoop version: 1.4.6-cdh5.12.1
Enter password: 
19/08/21 16:29:49 INFO manager.MySQLManager: Preparing to use a MySQL streaming resultset.
information_schema
cm
hive
hue
mysql
oozie
performance_schema
test

 

 

CDH5.12.1安裝Spark2.1

在CDH5.12.1集羣中，默認安裝的spark是1.6版本，這裏需要將其升級爲spark2.1版本。經查閱官方文檔，發現spark1.6和2.x是可以並行安裝的，也就是說可以不用刪除默認的1.6版本，可以直接安裝2.x版本，它們各自用的端口也是不一樣的。

Cloudera發佈Apache Spark 2概述(可以在這裏面找到安裝方法和parcel包的倉庫)

cloudera的官網可以下載相關的parcel 的離線安裝包：https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

Cloudera Manager及5.12.0版本的介紹：https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_parcels.html#cmug_topic_7_11_5__section

 升級過程

1 安裝準備

1）所需軟件：http://archive.cloudera.com/spark2/csd/

2）Parcels 包的下載地址：http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera1/

2 安裝過程

1）創建csd目錄

mkdir -p /opt/cloudera/csd/

2）上傳文件SPARK2_ON_YARN-2.1.0.cloudera1.jar 到 /opt/cloudera/csd/下面

3）上傳文件SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel和SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha1 到/opt/cloudera/parcel-repo/

4）修改所屬用戶及用戶組：

chown -R cloudera-scm:cloudera-scm /opt/cloudera

5）將SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha1重命名爲SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha

mv SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha1 SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904-el6.parcel.sha