5.創建Sqoop作業

Sqoop作業

• 將事先定義好的數據導入導出任務按照指定流程運行

• 語法

sqoop job (generic-args) (job-args)
   [-- [subtool-name] (subtool-args)]

1.1 創建作業

• --create

  • 創建一個名爲myjob,實現從mysql表數據導入到hdfs上的作業

    • 注意 在創建job時，==命令"-- import" 中間有個空格==

sqoop job \
--create myjob \
-- import \
--connect jdbc:mysql://node1:3306/userdb \
--username root \
--password 123456 \
--table emp \
--target-dir /sqoop/myjob \
--delete-target-dir \
--m 1

1.2 驗證作業

• --list  驗證作業是否創建成功

• 執行如下命令

• sqoop job --list
  

1.3 查看作業

• --show 查看作業的詳細信息

  • 執行命令 sqoop job --show myjob

1.4 執行作業

• --exec

  • 用於執行保存的作業

  sqoop job --exec myjob

  • 解決sqoop需要輸入密碼的問題

    • 修改配置文件 vi /opt/bigdata/sqoop/conf/sqoop-site.xml

  <property>
      <name>sqoop.metastore.client.record.password</name>
      <value>true</value>
      <description>If true, allow saved passwords in the metastore.
      </description>
  </property>

1.5 刪除作業

• --delete

  • 用於刪除保存作業  sqoop job --delete myjob