1.文檔編寫目的
在前面的文章《如何打包Livy和Zeppelin的Parcel包》Fayson介紹了使用腳本打包Livy和Zeppelin的Parcel包,本篇文章Fayson主要介紹在CM中使用Livy的Parcel包部署服務及驗證。
- 測試環境
1.CM5.15.0和CDH版本5.14.2
2.Livy0.5.0
3.集羣未啓用Kerberos
2.環境準備
在前面已經打包好Livy的parcel包及csd文件,接下來需要將parcel包部署到本地的httpd服務並在CM上安裝Livy的csd文件。
1.在cdh05節點的/var/www/html目錄下創建livy0.5.0目錄,將前面打包好的parcel和manifest.json文件拷貝至該目錄下
[root@cdh05 ~]# mkdir -p /var/www/html/livy0.5.0 [root@cdh05 ~]# mv /data/disk1/livy_zeppelin_cdh_csd_parcels/LIVY-0.5.0_build/* /var/www/html/livy0.5.0/ [root@cdh05 ~]# ll /var/www/html/livy0.5.0/
(可左右滑動)
2.瀏覽器訪問是否部署成功
3.將生成的csd文件,安裝至cloudera-manager-server服務所在節點的/opt/cloudera/csd目錄下
[root@cdh01 ~]# cd /opt/cloudera/csd/ [root@cdh01 csd]# scp -r cdh05.fayson.com:/data/disk1/livy_zeppelin_cdh_csd_parcels/LIVY-0.5.0.jar .
(可左右滑動)
安裝好csd文件後,在命令行執行命令重啓cloudera-scm-server服務
[root@cdh01 csd]# systemctl restart cloudera-scm-server
(可左右滑動)
如上完成了Livy服務安裝部署的準備工作,接下來登錄CM進行安裝。
3.CM部署Livy
1.使用管理員CM的管理臺,進入Parcel庫地址配置界面
保存更改,配置成功顯示如下:
2.點擊下載、分配並激活Livy的Parcel
3.回到CM主頁,點擊菜單“添加服務”
在服務安裝界面選擇Livy服務
4.點擊“繼續”,選擇Livy依賴的服務
5.點擊“繼續”,進行Livy服務角色分配
6.點擊“繼續”,修改Livy服務的數據目錄
7.點擊“繼續”,部署並啓動服務
8.點擊“繼續”,完成Livy服務部署
Livy服務啓動成功
4.服務驗證
在前面的文章《如何通過Livy的RESTful API接口向非Kerberos環境的CDH集羣提交作業》和《如何通過Livy的RESTful API接口向Kerberos環境的CDH集羣提交作業》Fayson也介紹了Livy的簡單使用,這裏爲了驗證服務通過Parcel部署正常,使用之前的代碼進行測試
1.運行代碼創建一個交互式會話
2.訪問Livy的8998界面查看
會話創建成功,生成了一個Spark的作業,界面可以看到對應的Application Id
3.通過Livy創建的交互式會話執行代碼
可以看到代碼執行成功