如何在CM中使用Parcel包部署Livy及驗證

1.文檔編寫目的


在前面的文章《如何打包Livy和Zeppelin的Parcel包》Fayson介紹了使用腳本打包Livy和Zeppelin的Parcel包,本篇文章Fayson主要介紹在CM中使用Livy的Parcel包部署服務及驗證。

  • 測試環境

1.CM5.15.0和CDH版本5.14.2

2.Livy0.5.0

3.集羣未啓用Kerberos

2.環境準備


在前面已經打包好Livy的parcel包及csd文件,接下來需要將parcel包部署到本地的httpd服務並在CM上安裝Livy的csd文件。

1.在cdh05節點的/var/www/html目錄下創建livy0.5.0目錄,將前面打包好的parcel和manifest.json文件拷貝至該目錄下

[root@cdh05 ~]# mkdir -p /var/www/html/livy0.5.0
[root@cdh05 ~]# mv /data/disk1/livy_zeppelin_cdh_csd_parcels/LIVY-0.5.0_build/* /var/www/html/livy0.5.0/
[root@cdh05 ~]# ll /var/www/html/livy0.5.0/

(可左右滑動)

2.瀏覽器訪問是否部署成功

3.將生成的csd文件,安裝至cloudera-manager-server服務所在節點的/opt/cloudera/csd目錄下

[root@cdh01 ~]# cd /opt/cloudera/csd/
[root@cdh01 csd]# scp -r cdh05.fayson.com:/data/disk1/livy_zeppelin_cdh_csd_parcels/LIVY-0.5.0.jar .

(可左右滑動)

安裝好csd文件後,在命令行執行命令重啓cloudera-scm-server服務

[root@cdh01 csd]# systemctl restart cloudera-scm-server

(可左右滑動)

如上完成了Livy服務安裝部署的準備工作,接下來登錄CM進行安裝。

3.CM部署Livy


1.使用管理員CM的管理臺,進入Parcel庫地址配置界面

保存更改,配置成功顯示如下:

2.點擊下載、分配並激活Livy的Parcel

3.回到CM主頁,點擊菜單“添加服務”

在服務安裝界面選擇Livy服務

4.點擊“繼續”,選擇Livy依賴的服務

5.點擊“繼續”,進行Livy服務角色分配

6.點擊“繼續”,修改Livy服務的數據目錄

7.點擊“繼續”,部署並啓動服務

8.點擊“繼續”,完成Livy服務部署

Livy服務啓動成功

4.服務驗證


在前面的文章《如何通過Livy的RESTful API接口向非Kerberos環境的CDH集羣提交作業》和《如何通過Livy的RESTful API接口向Kerberos環境的CDH集羣提交作業》Fayson也介紹了Livy的簡單使用,這裏爲了驗證服務通過Parcel部署正常,使用之前的代碼進行測試

1.運行代碼創建一個交互式會話

2.訪問Livy的8998界面查看

會話創建成功,生成了一個Spark的作業,界面可以看到對應的Application Id

3.通過Livy創建的交互式會話執行代碼

可以看到代碼執行成功

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章