Hue安裝配置實踐

這裏,我所基於的基本環境及其配置情況,如下所示:
?CentOS-6.6 (Final)
?JDK-1.7.0_25
?Maven-3.2.1
?Git-1.7.1
?Hue-3.7.0(branch-3.7.1)
?Hadoop-2.2.0
?Hive-0.14
?Python-2.6.6

基於上面的軟件工具,要保證正確安裝和配置。需要說明的是,我們通過Hue來執行Hive查詢,需要啓動HiveServer2服務:
cd /usr/local/hive
bin/hiveserver2 &

否則通過Hue Web控制無法執行Hive查詢。

安裝配置

我新建了一個hadoop用戶,以hadoop用戶,首先使用yum工具來安裝Hue相關的依賴軟件:
sudo yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite-devel



yum install cyrus-sasl-plain

然後,執行如下命令進行Hue軟件包的下載構建:
cd /usr/local/
sudo git clone https://github.com/cloudera/hue.git branch-3.7.1
sudo chown -R hadoop:hadoop branch-3.7.1/
cd branch-3.7.1/
make apps

上述過程如果沒有任何問題,我們就已經安裝好Hue。Hue的配置文件爲/usr/local/branch-3.7.1/desktop/conf/pseudo-distributed.ini,默認的配置文件不能正常運行Hue,所以需要修改其中的內容,與我們對應的Hadoop集羣配置相對應。該配置文件根據整合不同的軟件,將配置分成多個段,每個段下面還有子段,便於管理配置,如下所示(省略子段名稱):
?desktop
?libsaml
?libopenid
?liboauth
?librdbms
?hadoop
?filebrowser
?liboozie
?oozie
?beeswax
?impala
?pig
?sqoop
?proxy
?hbase
?search
?indexer
?jobsub
?jobbrowser
?zookeeper
?spark
?useradmin
?libsentry

我們很容易根據需要來配置自己需要的內容。我們修改配置文件的情況,如下表所示:

Hue配置段  Hue配置項  Hue配置值  說明 
desktop default_hdfs_superuser hadoop HDFS管理用戶
desktop http_host 10.10.4.125 Hue Web Server所在主機/IP
desktop http_port 8000 Hue Web Server服務端口
desktop server_user hadoop 運行Hue Web Server的進程用戶
desktop server_group hadoop 運行Hue Web Server的進程用戶組
desktop default_user yanjun Hue管理員
hadoop/hdfs_clusters fs_defaultfs hdfs://hadoop6:8020 對應core-site.xml配置項fs.defaultFS
hadoop/hdfs_clusters hadoop_conf_dir /usr/local/hadoop/etc/hadoop Hadoop配置文件目錄
hadoop/yarn_clusters resourcemanager_host hadoop6 對應yarn-site.xml配置項yarn.resourcemanager.hostname
hadoop/yarn_clusters resourcemanager_port 8032 ResourceManager服務端口號
hadoop/yarn_clusters resourcemanager_api_url http://hadoop6:8088 對應於yarn-site.xml配置項yarn.resourcemanager.webapp.address
hadoop/yarn_clusters proxy_api_url http://hadoop6:8888 對應yarn-site.xml配置項yarn.web-proxy.address
hadoop/yarn_clusters history_server_api_url http://hadoo6:19888 對應mapred-site.xml配置項mapreduce.jobhistory.webapp.address
beeswax hive_server_host 10.10.4.125 Hive所在節點主機名/IP
beeswax hive_server_port 10000 HiveServer2服務端口號
beeswax hive_conf_dir /usr/local/hive/conf Hive配置文件目錄

上面主要配置了Hadoop集羣相關的內容,以及Hive(beeswax段配置的是Hive,通過HIveServer2與Hive交互)。最後,啓動Hue服務,執行如下命令:
cd /usr/local/branch-3.7.1/
build/env/bin/supervisor &

Hue功能驗證


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章