hdp-2.6.3版本Zeppelin實戰應用自定義插件配置

我們知道,在hdp中使用Zeppelin的時候,我們往往很難使用Zeppelin插件默認的一些配置,需要我們自定義才能滿足需求。現在就我工作中的一些項目經驗,列舉一些例子,希望對小夥伴有所幫助^_^。

注意:以下的操作都是基於Zeppelin的web頁面

1.使用spark語言寫程序【本地模式】
(1)先要自定義一個spark插件,點擊右上角 admin 的按鈕,選擇Interpreter選項
(2)進入頁面之後,點擊Create按鈕,隨便寫一個Interpreter Name 比如myspark, 然後在Interpreter group選項中選擇spark
(3)填寫spark.cores.max , spark.executor.memory選項,其他的酌情修改,例如 spark.cores.max : 3 , spark.executor.memory : 1g
參數填寫:
master local[*]
spark.cores.max	6
spark.executor.memory	1g
(4)填寫完畢之後點擊下方的Save按鈕
(5)點擊Create new note,然後選擇spark2或者spark,如果之前選的不是,可以點擊右方的“小齒輪”按鈕切換。
(6)使用方法:
%myspark
sc
2.使用spark語言寫程序【yarn cluster模式】
(1)先要自定義一個spark插件,點擊右上角 admin 的按鈕,選擇Interpreter選項
(2)進入頁面之後,點擊Create按鈕,隨便寫一個Interpreter Name 比如myspark, 然後在Interpreter group選項中選擇spark
參數填寫:
SPARK_HOME   /usr/hdp/current/spark2-client 【新增】
deploy-mode	cluster 【新增】
master	yarn 【使用yarn提交】
spark.cores.max	6
spark.executor.memory	1g
(3)填寫完畢之後點擊下方的Save按鈕
(4)點擊Create new note,然後選擇spark2或者spark,如果之前選的不是,可以點擊右方的“小齒輪”按鈕切換。
(5)使用方法:
%myspark
sc
3.使用jdbc語言寫程序
(1)先要自定義一個jdbc插件,點擊右上角 admin 的按鈕,選擇Interpreter選項
(2)進入頁面之後,點擊Create按鈕,隨便寫一個Interpreter Name比如mysql, 然後在Interpreter group選項中選擇jdbc
(3)修改以下幾個屬性【按照自己的需求】
例如:
default.driver : com.mysql.jdbc.Driver 【官網上面寫的是org.mysql.jdbc.Driver是錯的】
default.password : qwe123
default.url :jdbc:mysql://192.168.2.207:3306/
default.user :root
(4)添加依賴Dependencies,如果有網絡的話直接按pom文件的格式寫,如果沒有網絡需要將mysql的驅動包上傳到你的zepplin的目錄
中,然後用本地路徑去引用
例如:我的mysql的驅動包是mysql-connector-java-6.0.6.jar,上傳到zeppelin目錄的/usr/hdp/current/zeppelin-server/lib目錄
中,然後在artifact裏面填寫本地路徑是:/usr/hdp/current/zeppelin-server/lib/mysql-connector-java-6.0.6.jar
【注意:目前hdp的版本放在/usr/hdp/2.6.3.0-235/zeppelin/lib/mysql-connector-java-6.0.6.jar】
(5)點擊下方的Save按鈕,然後返回到主頁面創建note,之後選擇自己定義的那個Interpreter Name,我這裏是mysql。
(6)使用方法:
%mysql
show databases;
以下需要注意,至少作者在hdp-2.6.3中踩到了雷~

(1)使用python語言編寫程序不需要自定義的插件,直接選擇已經有的python即可。

(2)使用livy語言訪問會有權限問題,所以需要給登陸zeppelin的用戶賦予操作/user這個目錄的權限。另外livy interpreter裏面直接寫
livy.spark.master有問題,需要先編輯Livy的配置文件spark-blacklist.conf,註釋掉spark.master。

(3)在zepplin裏面使用sparkSql會報錯lang3 inviad,可以在Interpreters裏面顯示的指明使用哪個lang的jar版本,我這裏配置的是:
在Dependencies裏面添加一個
/usr/hdp/current/spark2-client/jars/commons-lang3-3.5.jar

 

 最後,歡迎熱愛技術的小夥伴加入我們的聊天羣qq:715115302 ,大家一起交流^_^ 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章