最近也是由于电脑出了一点问题,就没有更新,今天主要来介绍一下Flink的web ui的使用,我们先提交一个job上去(我的集群是on yarn的),命令如下:
flink run -m yarn-cluster -c flink.window.FlinkWindowDemo -yn 2 -ys 4 -nm hbase -yjm 2048 -ytm 2048 -p 9 /home/jason/bigdata/jar/flink-1.0-SNAPSHOT.jar -d
提交后稍微等一会儿,因为Flink的UI反应还是有点慢,首页如下,可以看到整个UI界面还是比较简陋的,当然了后面阿里会有优化.
先看左边的菜单栏,我们一个一个介绍
1,概述,可以看到中间显示了我们这个job申请的tm个数,task slots个数,和可用的task slots数,右边显示了总共的job,正在运行的job,以及完成的,取消的,和失败的job的个数,下面是正在运行的job的列表,和完成的job的列表
2,然后我们点击正在运行的job进去,就可以看到我们刚才提交的job的详细信息,如下图所示.
可以看到上面是job的DAG图,下面是子任务,任务监控,水印,累加器,检查点,被压,里面具体的就不详细说了,大家可以自己点进去都看一下.可以看到我们设置的任务并发度,接受数据的个数,等信息.
3,已经完成的job,这个是需要配置history-server的,并启动,然后才可以看到,这里不详细说,后面会有介绍.
4,tm我们直接点进去看一下,如下图所示
可以看到tm的详细配置信息,内存,cpu等资源信息.点击第二个logs,就可以看到tm的日志,但是会比较卡,因为所有的日志都在一个文件里面,接着主要说一下第三个stdout,这里面可以看到我们打印的结果信息,这里为了方便看,我向kafka写了一些数据,如下
5,jm就不在说了,跟tm差不多,会显示在conf里面配置的所有配置信息,直接看下面的图片吧
6,最后一个提交新的job,Flink不仅支持用命令提交任务,也支持在页面提交任务,接下来我们就在页面上提交一个任务
点击add new按钮,会弹出选择jar包,我们还选择刚才那个.然后右边有显示一个upload按钮,点击upload后,右边会显示一个进度条,上次成功如下图(注意jar包尽量打的小一点,不然会很慢)
点击箭头所指的小方框,会显示如下的界面
当然这个和上面那个一样哈,因为就是执行的同一个类,然后我们回去到运行的任务界面,可以看到会有两个job在运行
后面会有更多的客户端的操作介绍.
如果有写的不对的地方,欢迎大家指正,如果有什么疑问,可以加QQ群:340297350,更多的Flink和spark的干货可以加入下面的星球
