自研大數據分析平臺任務提交方式

   大部分有實力的公司大數據平臺發展到一定階段,都會想着在大數據平臺上做一層整合開發一個統一的對外服務平臺,降低用戶的使用門檻,提高開發效率。要做一個大數據服務平臺對平臺研發人員的能力有着較高的要求,目前這塊做的好的都是一些大廠。今天我們簡單談下自研大數據分析平臺任務提交方式:

1. 使用服務自帶的shell 命令提交。這是大多數項目使用的方法,簡單,高效,大數據平臺軟件升級自兼容。開源項目有:azkaban

 2. 使用yarn client api 提交。大數據服務基本都支持在yarn上調度,很多公司都是基於yarn運行任務,門檻比1要高些,需要深入理解yarn api。athenax就是基於yarn api提交任務

 3. 使用大數據服務原生代碼提交,直接使用shell 命令所調用的java類執行。開源項目:oozie。 oozie是直接將相關支持的服務源碼直接編譯打包進來,提交任務時直接調用的原生類。

 4. 使用開源的第三方服務或自研的服務提交。 開源項目:livy。可以使用http協議向集羣提交spark任務。

  自研系統明確提交方式只是其中一部分,當選擇一種提交方式時,你可能還要考慮,執行用戶,權限,安全認證等因素。

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章