12月29-30日，
中国电子技术标准化研究院
（简称“电子标准院”）举办的“第十届中国云计算标准和应用大会”以“标准聚力 开源共赢”为主题在北京召开。本次大会聚焦云计算和开源技术创新领域， 致力于推动云计算产业以及开源社区高质量发展。
微众银行“
大数据 Linkis 开源计算中间件
”被评为
第十届中国云计算标准和应用大会中国优秀开源项目
。
Linkis在上层应用和底层引擎之间构建了一层计算中间件
，上层应用只需对接Linkis提供的标准接口，就能连接到各种底层引擎，并实现应用间的互通。解耦应用层和引擎层，简化复杂的网状调用关系，降低复杂分布式架构环境的整体复杂度和开发、运维成本。
Linkis专注于解决复杂分布式架构环境下的紧耦合、扩展难、运维难、缺管控、应用孤岛等计算治理问题，填补了开源社区计算中间件项目的空白
。
Linkis提供REST/WebSocket/JDBC接口，支持提交执行HiveSQL, SparkSQL,Shell, Python, Java, Scala等语言程序，支持对接Hive, Spark, Presto,HBase, MySQL, Oracle, TiDB, Flink等, 批量、交互式、流式各种底层计算存储引擎。
项目启动至今一年多的时间，迭代了9个重点版本，从起初的只有数名核心开发人员的内部小团队，到今天吸引了近百名贡献者参与共同开发建设。据不完全统计，目前明确反馈已在生产环境部署使用Linkis的企业有40多家，试用企业590多家，社区成员3600多名，遍及金融、电信、互联网、制造等各行各业。
![]()
连通：能够帮助上层应用，通过Linkis对外提供的标准化接口（如HTTP, JDBC, Java），快速的连接到多种底层计算存储引擎（如Hive, Spark, Presto, HBase, MySQL, Oracle, TiDB, Flink等），提交执行各种类型的计算任务；并实现跨上层应用间的，用户物料资源和计算任务运行时上下文和依赖的互通和共享，支持跨应用间的统一变量、UDF、函数、用户资源文件共享和管理；
简化：解耦上层应用和底层引擎，简化整体架构复杂度及开发运维难度；
扩展：能够插拔式的扩展支持全栈计算存储引擎，且基于微服务+容器化的云原生架构，支持各层服务弹性扩缩容，支持海量多类型高并发作业请求处理；
管控：通过提供金融级多租户、资源管控、作业路由管理策略、执行智能诊断等特性支持，使得各种计算任务更可靠、可控的提交执行，成功返回结果；
复用：统一的计算中间件能力可供各个上层应用复用，大大降低了上层应用在计算治理相关的开发和运维成本。
![]()
![]()
Linkis开发团队于
2020年下半年
，正式启动了Linkis1.0的版本规划和开发实现，
从计算治理的核心处理流程、计算场景、计算策略和安装部署优化等多个方面对Linkis的架构进行调整和改进
。
Linkis1.0将主要围绕着
计算治理
（关于计算治理的更多介绍🔗 ）来进行设计和开发实现，使得Linkis作为计算中间件，真正具备了大数据平台层中间件的全栈引擎和全栈计算治理需求的统一出入口能力。
![]()
特别是
Linkis1.0 Orchestrator的引入，从架构层面重新设计了计算任务的提交-准备-执行
，天生便具备对复杂的编排模式和计算策略的支持，如：多活、主备、异构、混算、事务、回放等，并首次引入了再热机制，允许计算任务在执行完成后，依据执行结果按需加入优化规则和重试规则等，全面升级Linkis对用户复杂业务任务的编排能力，使得
Linkis成为大数据计算存储引擎对外提供统一标准化服务
成为了可能。
![]()
https://github.com/WeBankFinTech/Linkis/blob/master/docs/zh_CN/README.md
https://github.com/WeBankFinTech/Linkis
https://gitee.com/WeBank/Linkis
相关推荐
![]()
本文分享自微信公众号 - WeDataSphere（gh_273e85fce73b）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。
