後來我使用了CM5.13.3spark2kafka3.1.1解決了很多疑難雜症——hue增加spark交互式

需要準備

安裝包
livy-0.5.0-incubating-bin.tar.gz
hue.ini配置

[desktop]
app_blacklist=

[spark]
livy_server_host=master.dffl.com
livy_server_port=8998
livy_server_session_kind=yarn

[notebook]
show_notebooks=true
enable_external_statements=true
enable_batch_execute=true

注意
目前livy只有單機選擇安裝於master主機

解壓配置更名

[root@centos ~]# tar -zxf livy-0.5.0-incubating-bin.tar.gz -C /opt/modules/
[root@centos ~]# mv /opt/modules/livy-0.5.0-incubating-bin /opt/modules/livy-0.5.0

配置環境變量
[root@centos ~]# vim /etc/profile

export LIVY_HOME=/opt/modules/livy-0.5.0
export PATH=$LIVY_HOME/bin:$PATH

立即生效
[root@centos ~]# source /etc/profile

配置啓動livy
livy-env.sh

export JAVA_HOME=/usr/local/java/latest/jdk1.8.0_191
export SPARK_HOME=/opt/cloudera/parcels/SPARK2/lib/spark2
export SPARK_CONF_DIR=/etc/spark2/conf
export HADOOP_CONF_DIR=/etc/hadoop/conf

livy.conf

livy.spark.master = yarn

切換hdfs用戶
[root@centos ~]# su - hdfs
後臺運行
[hdfs@centos ~]$ nohup ./livy-server > livy.out 2>&1 &
查看運行日誌
[hdfs@centos ~]$ cat livy.out

最後重啓hue安裝完成出現spark交互式界面snippet