-
介紹
HUE=Hadoop User Experience
Hue是一個開源的Apache Hadoop UI系統,由Cloudera Desktop演化而來,最後Cloudera公司將其貢獻給Apache基金會的Hadoop社區,它是基於Python Web框架Django實現的。
通過使用Hue,可以在瀏覽器端的Web控制檯上與Hadoop集羣進行交互,來分析處理數據,例如操作HDFS上的數據,運行MapReduce Job,執行Hive的SQL語句,瀏覽HBase數據庫等等。
-
作用
1.訪問HDFS和文件瀏覽
2.通過web調試和開發hive以及數據結果展示
3.查詢solr和結果展示,報表生成
4.通過web調試和開發impala交互式SQL Query
5.spark調試和開發
6.Pig開發和調試
7.oozie任務的開發,監控,和工作流協調調度
8.Hbase數據查詢和修改,數據展示
9.Hive的元數據(metastore)查詢
10.MapReduce任務進度查看,日誌追蹤
11.創建和提交MapReduce,Streaming,Java job任務
12.Sqoop2的開發和調試
13.Zookeeper的瀏覽和編輯
14.數據庫(MySQL,PostGres,SQlite,Oracle)的查詢和展示
-
架構
Hue是一個友好的界面集成框架,可以集成各種大量的大數據體系軟件框架,通過一個界面就可以做到查看以及執行所有的框架。
Hue提供的這些功能相比Hadoop生態各組件提供的界面更加友好,但是一些需要debug的場景可能還是要使用原生系統才能更加深入的找到錯誤的原因。