源起
租用了E-mapreduce服務器,如何運行自己的spark程序。
參考官方文檔:點spark作業配置, 我只是更詳細的描述一下操作步驟。
操作步驟
一、創建作業
1. 作業
2. 創建作業
3. 輸入你平常在虛擬機提交任務時的指令,並做以下修改:
1)只保留“spark-submit”之後的內容 (因爲在後臺提交時,它會自動加上這句話)
2)jar包的路徑 是存在oss的buket中的,選擇“選擇OSS路徑”找到自己上傳的jar包,並把oss協議改成ossref協議
3)其他的參數涉及到路徑的,比如輸入輸出文件的位置,直接用“選擇OSS路徑”選擇文件,自動生成路徑即可
二、執行計劃
選擇執行計劃,創建執行計劃,根據提示向下做即可
三、查看執行結果
1.可以做執行計劃->管理->執行記錄中,查看執行狀態可執行結果
2. 也可以通過hadoop的8088端口查看執行結果