sqoop 踩坑

------------------sqoop 踩坑------------
    0.sqoop 執行缺少一些jar
       需要將相關的jar包放到sqoop/lib 
    1.hue不支持sqoop相關命令hive hbase
       已解決
    2.oozie配置corn表達式顯示不對問題，
      當輸入*/5 * * * * ，保存後卻變成了* * * *，但實際存儲的是*/5 * * * *，不影響功能，隻影響顯示。usdp說是oozie版本問題
    3.Oozie調度補跑問題
      當設置時間早於當前時間會出現任務補跑，如果是5 * * * *，指的是  每個小時的 第5分鐘，也就是 17:05, 18:05,19:05纔會執行，並不是每5分鐘 
    4.Sqoop hive不支持增加導入問題
      --incremental lastmodified 可以實現增量導入，但是結合--hive-import導入hive不支持， 
      可以先導入到hdfs，然後建hive表   
    5.Oozie bound創建不成功問題
      目前沒解決
    6. hue oozie  執行 sqoop job 任務？
       sqoop job 默認把meta保存在單機存儲中 ，在集羣環境中需要指定--meta-connect來統一存儲管理job的meta
    7. 通過mysql存儲sqoop job異常： 鎖表sqoop mysql metastore java.sql.SQLException: Lock wait timeout exceeded; try restarting transaction
       將表的改爲ENGINE=MyISAM
    8.oozie調度sqoop Job 數據庫密碼無法保存
      通過--password-file hdfs:///user/zzm/.password.file  將密碼保存到hdfs中
    9.執行sqoop job 需要輸入數據庫密碼
      修改 sqoop-site.xml 配置項sqoop.metastore.client.record.password=true
    10. sqoop job --create hdfs-meta   --meta-connect '' -- import
        創建sqoop job 命令中  -- import 中間有個空格
    11. hue command窗口中使用query是有問題的。對於query後的sql，由於hue調用oozie，oozie在解析命令時會將sql拆解成多個參數，而不是當成一個參數，導致運行時會無法解析命令。
        方案
        1、直接在hue中利用ssh運行腳本
        2、空出command命令框，而在參數框中打入命令
    12. sqoop 增量導入重複數據數據問題
      --incremental lastmodified  --append 重複
      --incremental lastmodified  --merge-key 會做合併
    13.