最近也是由於電腦出了一點問題,就沒有更新,今天主要來介紹一下Flink的web ui的使用,我們先提交一個job上去(我的集羣是on yarn的),命令如下:
flink run -m yarn-cluster -c flink.window.FlinkWindowDemo -yn 2 -ys 4 -nm hbase -yjm 2048 -ytm 2048 -p 9 /home/jason/bigdata/jar/flink-1.0-SNAPSHOT.jar -d
提交後稍微等一會兒,因爲Flink的UI反應還是有點慢,首頁如下,可以看到整個UI界面還是比較簡陋的,當然了後面阿里會有優化.
先看左邊的菜單欄,我們一個一個介紹
1,概述,可以看到中間顯示了我們這個job申請的tm個數,task slots個數,和可用的task slots數,右邊顯示了總共的job,正在運行的job,以及完成的,取消的,和失敗的job的個數,下面是正在運行的job的列表,和完成的job的列表
2,然後我們點擊正在運行的job進去,就可以看到我們剛纔提交的job的詳細信息,如下圖所示.
可以看到上面是job的DAG圖,下面是子任務,任務監控,水印,累加器,檢查點,被壓,裏面具體的就不詳細說了,大家可以自己點進去都看一下.可以看到我們設置的任務併發度,接受數據的個數,等信息.
3,已經完成的job,這個是需要配置history-server的,並啓動,然後纔可以看到,這裏不詳細說,後面會有介紹.
4,tm我們直接點進去看一下,如下圖所示
可以看到tm的詳細配置信息,內存,cpu等資源信息.點擊第二個logs,就可以看到tm的日誌,但是會比較卡,因爲所有的日誌都在一個文件裏面,接着主要說一下第三個stdout,這裏面可以看到我們打印的結果信息,這裏爲了方便看,我向kafka寫了一些數據,如下
5,jm就不在說了,跟tm差不多,會顯示在conf裏面配置的所有配置信息,直接看下面的圖片吧
6,最後一個提交新的job,Flink不僅支持用命令提交任務,也支持在頁面提交任務,接下來我們就在頁面上提交一個任務
點擊add new按鈕,會彈出選擇jar包,我們還選擇剛纔那個.然後右邊有顯示一個upload按鈕,點擊upload後,右邊會顯示一個進度條,上次成功如下圖(注意jar包儘量打的小一點,不然會很慢)
點擊箭頭所指的小方框,會顯示如下的界面
當然這個和上面那個一樣哈,因爲就是執行的同一個類,然後我們回去到運行的任務界面,可以看到會有兩個job在運行
後面會有更多的客戶端的操作介紹.
如果有寫的不對的地方,歡迎大家指正,如果有什麼疑問,可以加QQ羣:340297350,更多的Flink和spark的乾貨可以加入下面的星球
