sparklaunch提交任務自定義控制檯輸出
SparkLauncher是spark用於提交spark作業的一個api,SparkLauncher提交作業也是根據輸入的參數創建相應的spark-submit命令來提交作業
SparkLauncher默認使用OutputRedirector輸出命令執行情況,該類是一個私有類,SparkLauncher並沒有提供相應的支持接口來重定向打印信息。所以要先把OutputRedirector定義爲共有得,然後繼承該類,重寫方法
我創建一個websocket用來發送日誌得,可以用作bs架構和cs架構中,多源推送打印信息。
然後把輸出結果重定向到自定義得類,在啓動SparkLauncher之前設置一下
修改一下SparkLauncher得代碼,打包即可使用