sparklaunch提交任務自定義控制檯輸出

sparklaunch提交任務自定義控制檯輸出

SparkLauncher是spark用於提交spark作業的一個api,SparkLauncher提交作業也是根據輸入的參數創建相應的spark-submit命令來提交作業
在這裏插入圖片描述
SparkLauncher默認使用OutputRedirector輸出命令執行情況,該類是一個私有類,SparkLauncher並沒有提供相應的支持接口來重定向打印信息。所以要先把OutputRedirector定義爲共有得,然後繼承該類,重寫方法
在這裏插入圖片描述
我創建一個websocket用來發送日誌得,可以用作bs架構和cs架構中,多源推送打印信息。
在這裏插入圖片描述
然後把輸出結果重定向到自定義得類,在啓動SparkLauncher之前設置一下
在這裏插入圖片描述
修改一下SparkLauncher得代碼,打包即可使用

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章