Flink 任務打包、提交

一、Flink版本

flink-1.6.1-bin-hadoop26-scala_2.11


二、Flink任務打包

筆者將寫好的flink計算任務代碼發到服務器(ubuntu16.04),在服務器端進行任務的打包

1、將項目工程導入服務器中(mac下)

scp -r flink-project root@服務器ip:/wingcloud4/

2、將flink源碼下的tools文件導入到服務器根目錄下

讀者可以去github自行下載tools文件,在如下位置

然後先進入flink-master再執行命令將tools導入到服務器根目錄,命令如下

scp -r tools root@服務器ip:/

3、在服務器下預先裝好maven

因爲筆者flink-project這個文件下多個服務,所以筆者需要將flink計算服務打包

4、將flink-project下的flink計算服務進行打包

ps:當然,這裏讀者按照自己的項目來決定即可

進入後,執行一下打包命令,因爲計算服務中有許多測試代碼,maven的checkstyle會檢查導致失敗,所以加上-Dcheckstyle.skip=true可以跳過此類失敗,如果有其他服務(例如公共服務被計算服務使用到的話,記得在公共服務目錄下進行 mvn clean install打包下)

mvn clean assembly:assembly -Dcheckstyle.skip=true

打包完成後,會出現一個有target的目錄,打包的的jar會放在裏面,進入target目錄會有一個後綴是jar-with-dependencies.jar的包

ubuntu@VM-0-3-ubuntu:~$ cd /wingcloud4/flink-project/analy/target/
ubuntu@VM-0-3-ubuntu:/wingcloud4/flink-project/analy/target$ ls
archive-tmp                                generated-sources
classes                                    maven-archiver
dependency-reduced-pom.xml                 maven-shared-archive-resources
analy-1.6.1.jar                            original-analy-1.6.1.jar
analy-1.6.1-jar-with-dependencies.jar      test-classes
analy-1.6.1-tests.jar

將analy-1.6.1-jar-with-dependencies.jar 轉移到其他目錄下

root@VM-0-3-ubuntu:/wingcloud4/flink-project/analy/target# cp analy-1.6.1-jar-with-dependencies.jar /wingcloud4

ok,任務打包完成!


三、Flink任務提交

1、啓動flink

https://blog.csdn.net/w_linux/article/details/85036558

2、任務提交

進入flink的bin下,執行如下命令

root@VM-0-3-ubuntu:/usr/local/flink/bin# ./flink run -c com.example.stream.ProcessData /wingcloud4/analy-1.6.1-jar-with-dependencies.jar -input-topic test7 --bootstrap.servers 服務器ip:9092 --zookeeper.connect 服務器ip:2181 --group.id myconsumer1

顯示Starting execution of program即任務提交成功

解釋下提交任務的命令

com.example.stream.ProcessData:核心計算程序,在com.example.stream包下,類名是ProcessData

/wingcloud4/analy-1.6.1-jar-with-dependencies.jar:之前任務打包的位置以及名稱

-input-topic test7 :kafka的topic是test7

--bootstrap.servers 服務器ip:9092 --zookeeper.connect 服務器ip:2181:kafka以及zookeeper的連接配置

3、查看任務

提交任務後,即可去flink的web界面查看提交的任務,如圖顯示running

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章