Flink基礎系列4-CDH6.3集成Flink1.9 一.準備工作 二.安裝Flink 三.FAQ 參考:

一.準備工作

1.1 CDH 6.3.1大數據平臺搭建

CDH 6.3 大數據平臺搭建

1.2 安裝方式討論

CDH本身不自帶Flink服務,安裝配置會比安裝Spark麻煩一些。
但是CDH提供了兩種安裝Flink的方式

  1. parcels方式
  2. 編譯安裝的方式

第一種更簡單,第二種需要配置的項較多,這裏我們選擇第一種方式。

1.3 安裝介質下載及上傳

我本地環境是CDH 6.3.1的,而介質是6.3.0的,本地親測,可以正常使用。

安裝介質文件如下:

FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha
manifest.json

1.3.1 介質下載

網上大多給的是CDH官網的下載連接,這裏我就不貼出來的,但是現在官網下載不了,在網上搜索了一天,魚龍混雜,也沒有找到滿意的介質文件。

也就只有CSDN平臺有付費下載的(C幣相當於付費了):


好在功夫不負有心人,在網上找到了了相關的連接:
https://www.freesion.com/article/60511077131/
提供了百度網盤的下載連接:
百度網盤:https://pan.baidu.com/s/1DVG8z77wGOohQSamerqT_w 提取碼:94ul

https://www.it610.com/article/1283193742785789952.htm
提供了百度網盤的下載連接:
鏈接:https://pan.baidu.com/s/1ExTiI6Q26vSsgvhnEB2f-w 提取碼:ldat

因爲這兩個熱心的哥們都只提供了三個文件,都少了一個文件,這裏我把鏈接地址和百度網盤都貼出來了,需要結合這兩個才能下載到全部所需的文件。

1.3.2 上傳文件

將文件傳到對應位置:
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel
FLINK-1.9.0-csa1.0.0.0-cdh6.3.0-el7.parcel.sha
manifest.json
上述三個傳到本地的parcel源目錄:/opt/cloudera/parcel-repo

FLINK-1.9.0-csa1.0.0.0-cdh6.3.0.jar
上述一個文件上傳到/opt/cloudera/csd

1.4 重啓cdh集羣

重啓之前我們是看不到flink這個組件的
管理節點

systemctl stop cloudera-scm-server
systemctl stop cloudera-scm-agent
systemctl start cloudera-scm-server
systemctl start cloudera-scm-agent

agent節點

systemctl stop cloudera-scm-agent
systemctl start cloudera-scm-agent

本地測試過,只有通過命令重啓纔行,通過界面重啓無效

二.安裝Flink

2.1 配置本地Flink 的 parcel

選擇 主機->Parcel


點擊 檢查新Parcel


選擇左邊的FLINK,下載Flink


下載完成後 選擇 "激活"


等到激活完成即可

2.2 開始安裝Flink

添加服務


選擇Flink


選擇History Server主機和Gateway主機


默認


開始安裝


等待安裝完成即可

如下,Flink服務安裝成功

三.FAQ

3.1 Deploy client Configuration失敗

如下圖所示:


最後排查問題,介質文件上傳路徑出了問題,需要參考1.3.2步驟,重新上傳文件

3.2 爲激活 Parcel:[flink]

報錯截圖如下:


最後排查問題,介質文件上傳路徑出了問題,需要參考2.1步,重新激活Flink的Parcel

參考:

  1. https://www.freesion.com/article/60511077131/
  2. https://www.it610.com/article/1283193742785789952.htm
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章