Azkaban实战-Mapreduce任务

mapreduce任务依然可以使用azkaban进行调度

1.创建job描述文件,及mr程序jar包
vi mapreduce.job

添加内容:

#mapreduce job
type=command
command=/opt/module/hadoop-2.8.4/bin/hadoop jar /opt/module/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /wordcount/input /wordcount/output
2.将所有job资源文件打到一个zip包中
zip mapreduce.zip mapreduce.job 

adding: mapreduce.job (deflated 43%)

3.在azkaban的web管理界面创建工程并上传zip包

4.启动job

5.查看结果

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章