Cloudera Hue Issues

在使用Cloudera Hue時遇到一問題: 
1. 使用Sqoop導入功能時,由於配置錯誤,使得“保存運行”後Job並不能正常提交,且界面上沒有相關提示: 
  • 使用Hue的Sqoop shell -》 start job --jid * 提交會出現一些錯誤提示
  • 然後再去/var/log/sqoop/裏面查看log


2. 第二個問題是在使用Job Designer設計Sqoop任務,提交時,執行過過程中提示缺少mysql 驅動,雖然驅動已經被我加入到sqoop/lib下,後來才發現,原來安裝的時候會將oozie workflow共享依賴的包入到hdfs中,所以我將驅動上傳到hdfs://user/oozie/share/lib/sqoop/下,再執行Job就可以了 

3. hue oozie 執行sqoop create-hive-table,不能成功在hive metastore中創建table,雖然在sqoop中加入--verbose參數,在執行過程中顯示了表示要創建table的DDL語句,但是在hive中show tables;並沒有真正創建成功。初步發現的原因,可能是在hue中sqoop沒有辦法調用起hive client,因爲日誌的最後並沒有打印hive所生成的log. 

4. hue oozie中有幾個關於時間的設置,都跟時區有關: 
  • Cloudera Manager中有關hue的時區的設置,默認爲American/LosAngeles,這個時區設置使得hue oozie dashboard中任務的時間顯示不能與中國標準時間一致,將其改爲Asia/Chongqing,重啓hue服務即可。
  • Hue Oozie Coordinator的頻率設置,開始和結束時間後的時區設置,是用來調整夏令時區的。由於某些時區實行夏令時,使得開始和結束時間要進行一定的調整。
  • 上面的開始和結束時間使用的是UTC時區,這個設置可以更改/etc/oozie/conf/oozie-default.xml中的oozie.process.timezone,默認爲UTC。然後,Hue oozie對這個設置的更改不起作用,所以在使用hue oozie時,設置時間固定以UTC爲基準,中國時間比其早8小時,一般要減去8小時。


5. 當使用MySQL作爲集羣中Hive的MetaStore和Cloudera Manager Monitor Service的Database的時候,各個節點要安裝mysql-connector。 

6. 在使用Cloudera Manager部署Hadoop時,由於各節點時鐘不統一,會導致服務出現異常,使用NTP server/client可以解決這個問題。 

7. Cloudera Manager - Hbase browser couldn't connect to localhost:9090 

In Hue 2.5.0, there is a new feature called "HBase Browser", it is for user to quickly browsing huge tables and accessing Hbase content. You can also create new tables, add data, modify existing cells and filter data with the autocompleting search bar. If you click on "Hbase Browser" icon and get "API error: couldn't connect to localhost:9090", probably you don't have a Hbase thrift server running. 

In your CM, go to "All Services" -> "hbase1" -> "Instances", then under "Role Instances", click on "Add", choose a node to be "HBase Thrift Server", then start the thrift server. By default, hue connects to itself on port 9090, so make sure hue knows which node is the thrift server. 
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章