[转] Spark as Service 架构

Spark作为服务使用,方案有:SparkJobServer,Zepplin,Livy,Linkis。 

 

 

第一:Linkis和zeepelin和Zeppelin的Interpreter再计算引擎部分是有相似之处的,Linkis的作业服务可以完全对Livy和Zeppelin的Interpreter进行替换;但linkis还存在很多其他服务如:资源管理服务,应用管理服务,存储服务,上下文服务等等。所以他不仅仅是一个脚本执行器,而是一个数据中间件。

第二:Linkis有很多企业级特性比如:多租户隔离、资源管控、自定义变量、UDF、函数等功能,这些都是脚本执行器不会持有的特性;

第三:Linkis作为连接者,可以轻松解决前台各种工具、应用,和后台各种计算存储引擎间连接简化和复用问题,这正是我们提出的中间层的概念。
就我的见解而言,Linkis作为数据中间件是一套实现数据中台的利器。

ref: https://www.cnblogs.com/beststrive/p/11933519.html 

linkis介绍:https://www.jianshu.com/p/6de95d7ff4b7 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章