hue的基本認識和安裝(Ubuntu+hadoop2.7.2+hive2.1.0+hue3.11.0)

最近由於需要,瞭解了下hue,並在ubuntu下,安裝了hue3.11.0,並整合已有的hadoop、hive環境。本文就hue的基本情況以及安裝部署(這個很折騰)做個簡單介紹。最後也給出了一些非常有參考意義的鏈接,根據參考鏈接,安裝、配置等常見問題基本可以解決了。


hue的基本認識及功能特性介紹

Hue是一個開源的Apache Hadoop UI系統,最早是由Cloudera Desktop演化而來,由Cloudera貢獻給開源社區,它是基於Python Web框架Django實現的。通過使用Hue我們可以在瀏覽器端的Web控制檯上與Hadoop集羣進行交互來分析處理數據,例如操作HDFS上的數據,運行MapReduce Job等等。

對於hadoop生態圈中的幾乎所有框架相關功能,都有一定的支持。比如HDFS文件的瀏覽、上傳、下載、刪除、移動、拷貝、查看、甚至拖拽式操作。再比如對於hive的支持,只需要將hive的配置文件路徑加到hue.ini配置文件中就行,然後就可以在啓動hue後通過頁面進行hive元數據庫、數據的查看、操作等。其他還有如spark、sqoop、Job、ZooKeeper等應用都可以作爲一個組件配置進來。

特性:

  • 默認基於輕量級sqlite數據庫管理會話數據,用戶認證和授權,可以自定義爲MySQL、Postgresql,以及Oracle
  • 基於文件瀏覽器(File Browser)訪問HDFS
  • 基於Hive編輯器來開發和運行Hive查詢
  • 支持基於Solr進行搜索的應用,並提供可視化的數據視圖,以及儀表板(Dashboard)
  • 支持基於Impala的應用進行交互式查詢
  • 支持Spark編輯器和儀表板(Dashboard)
  • 支持Pig編輯器,並能夠提交腳本任務
  • 支持Oozie編輯器,可以通過儀表板提交和監控Workflow、Coordinator和Bundle
  • 支持HBase瀏覽器,能夠可視化數據、查詢數據、修改HBase表
  • 支持Metastore瀏覽器,可以訪問Hive的元數據,以及HCatalog
  • 支持Job瀏覽器,能夠訪問MapReduce Job(MR1/MR2-YARN)
  • 支持Job設計器,能夠創建MapReduce/Streaming/Java Job
  • 支持Sqoop 2編輯器和儀表板(Dashboard)
  • 支持ZooKeeper瀏覽器和編輯器
  • 支持MySql、PostGresql、Sqlite和Oracle數據庫查詢編輯器

對於HDFS操作方面的支持:

  • Download
  • Rename
  • Move
  • Copy
  • Recursive change of permissions
  • Recursive change of ownership
  • Sort by attributes (e.g. name, size, date…)
  • View content of zip/gz text
  • View content of huge files
  • Drag & drop files to upload

對於權限控制方面

  • 做的還是比細粒度的,比如hue的管理員賬戶,普通賬戶,可操作的選項(rwx),分組(group),文件權限管理等。

hue的安裝部署主要環節(細節可參考相應鏈接)

  • 下載安裝包(因爲系統是ubuntu,而且是內網環境,不通外網,而編譯的話需要聯網,所以只能通過官方預編譯的)
    • 可在這裏下載(可能需要翻牆)
  • 執行安裝命令:
    • sudo PREFIX=/usr/share make install
    • sudo yum update gcc g++ libxml2-devel libxslt-devel cyrus-sasl-devel cyrus-sasl-gssapi mysql-devel \
      python-devel python-setuptools python-simplejson sqlite-devel ant libsasl2-dev libsasl2-modules-gssapi-mit \
      libkrb5-dev libtidy-0.99-0 mvn openldap-dev
  • 安裝成功後,配置hue.ini, 參考這裏, 英文不好的也可以讀這個
  • 如果你的版本是hue3.7.0,並且需要認證的情況,可以讀這個
  • 如果使用mysql作爲元數據庫,那麼需要安裝mysql、新建數據庫、用戶、授權(用戶名可隨意,後面在hue.ini中用到):
    • create database hue;
    • 如果用戶權限錯誤,可以: drop user hue@localhost;
    • mysql>CREATE USER hue@'localhost' IDENTIFIED BY 'hue1234';
    • mysql>flush privileges;
    • 爲了其他機器可訪問(當你安裝的hue所在機器和MySql不在同一個機器時),則需要授權:grant all privileges on hue.* to 'hue'@'172.16.13.%' identified by 'hue1234';
  • 基礎環境不解釋,如Hadoop,Hive,MySql等的安裝,自行解決。

參考:

基本介紹,看看就行:

hue_3.11.0的安裝(截至目前能看到的最新的文章,寫的很不錯):

cloudera的文檔,cdh3的版本,但是可以參考, 而且是tarball的方式安裝:

hue3.9 tarball:

常見問題:

用戶配置問題:
對於hue的用戶管理方面,是和hadoop的用戶有一定的區別的,需要注意。下面的博客都已經寫明瞭

其他可參考的:

  • 配置代理用戶時,可以不用重啓集羣,使用命令就行(需要在每個nn上面執行):

  • app配置:

    • 修改hue.ini 中的app_blacklist後無法啓動,報錯:AttributeError: 'Config' object has no attribute 'get'. 原因:app間相互依賴,如oozie和jobsub等。可在app.reg中查看到所有已安裝app
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章