5.创建Sqoop作业

Sqoop作业

• 将事先定义好的数据导入导出任务按照指定流程运行

• 语法

sqoop job (generic-args) (job-args)
   [-- [subtool-name] (subtool-args)]

1.1 创建作业

• --create

  • 创建一个名为myjob,实现从mysql表数据导入到hdfs上的作业

    • 注意 在创建job时，==命令"-- import" 中间有个空格==

sqoop job \
--create myjob \
-- import \
--connect jdbc:mysql://node1:3306/userdb \
--username root \
--password 123456 \
--table emp \
--target-dir /sqoop/myjob \
--delete-target-dir \
--m 1

1.2 验证作业

• --list  验证作业是否创建成功

• 执行如下命令

• sqoop job --list
  

1.3 查看作业

• --show 查看作业的详细信息

  • 执行命令 sqoop job --show myjob

1.4 执行作业

• --exec

  • 用于执行保存的作业

  sqoop job --exec myjob

  • 解决sqoop需要输入密码的问题

    • 修改配置文件 vi /opt/bigdata/sqoop/conf/sqoop-site.xml

  <property>
      <name>sqoop.metastore.client.record.password</name>
      <value>true</value>
      <description>If true, allow saved passwords in the metastore.
      </description>
  </property>

1.5 删除作业

• --delete

  • 用于删除保存作业  sqoop job --delete myjob