[轉] Spark as Service 架構

Spark作爲服務使用,方案有:SparkJobServer,Zepplin,Livy,Linkis。 

 

 

第一:Linkis和zeepelin和Zeppelin的Interpreter再計算引擎部分是有相似之處的,Linkis的作業服務可以完全對Livy和Zeppelin的Interpreter進行替換;但linkis還存在很多其他服務如:資源管理服務,應用管理服務,存儲服務,上下文服務等等。所以他不僅僅是一個腳本執行器,而是一個數據中間件。

第二:Linkis有很多企業級特性比如:多租戶隔離、資源管控、自定義變量、UDF、函數等功能,這些都是腳本執行器不會持有的特性;

第三:Linkis作爲連接者,可以輕鬆解決前臺各種工具、應用,和後臺各種計算存儲引擎間連接簡化和複用問題,這正是我們提出的中間層的概念。
就我的見解而言,Linkis作爲數據中間件是一套實現數據中臺的利器。

ref: https://www.cnblogs.com/beststrive/p/11933519.html 

linkis介紹:https://www.jianshu.com/p/6de95d7ff4b7 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章