阿里雲E-mapreduce 如何提交自己的jar包並運行

源起

租用了E-mapreduce服務器,如何運行自己的spark程序。

參考官方文檔:點spark作業配置, 我只是更詳細的描述一下操作步驟。

操作步驟

一、創建作業

1. 作業

2. 創建作業

3. 輸入你平常在虛擬機提交任務時的指令,並做以下修改:

  1)只保留“spark-submit”之後的內容 (因爲在後臺提交時,它會自動加上這句話)

  2)jar包的路徑 是存在oss的buket中的,選擇“選擇OSS路徑”找到自己上傳的jar包,並把oss協議改成ossref協議

 3)其他的參數涉及到路徑的,比如輸入輸出文件的位置,直接用“選擇OSS路徑”選擇文件,自動生成路徑即可

二、執行計劃


選擇執行計劃,創建執行計劃,根據提示向下做即可

三、查看執行結果

1.可以做執行計劃->管理->執行記錄中,查看執行狀態可執行結果

2. 也可以通過hadoop的8088端口查看執行結果


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章