Linkis 是上层应用程序和底层引擎之间做构建的计算中间件。通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎，同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通。自2019年开源，已积累800+试验企业和1800+沙盒用户，涉及金融、电信、制造、互联网等多个行业。许多公司已经将Linkis 作为大数据平台底层计算存储引擎的统一入口，和计算请求/任务的治理管控利器。
openLooKeng是一款开源的高性能数据虚拟化引擎，提供统一 SQL 入口，无论是大数据生态的Hive、Hbase，或是OLTP数据库PostgreSQL、MySQL，都可轻松驾驭。openLooKeng 具备可靠强大的跨多种数据源联合查询的能力，其开发的跨数据中心Data Center Connector提供高性能跨域协同计算，进一步延伸引擎查询性能，并解决以往跨源查询架构复杂、编程入口太多、系统集成度差的问题，实现了数据从“搬运”到“连接”的模式转换，方便用户快速实现海量数据的价值变现。
随着大数据技术的发展， 以及在各个领域的广泛应用， 过程中产生了大量的碎片化数据，在业务需求旺盛的背景下，如何做到快速响应又能完好规避数据系统的风险问题，成为大家所关注的热点。另外，如何充分的利用数据分析、数据挖掘，发现更有价值的信息，从而带来经济收益，也是大家在进行大数据分析计算时面对的重要挑战。
为了满足不同场景的业务需求，丰富大数据平台架构，让用户更轻松驾驭各种类型的数据，近期，openLooKeng与Linkis达成合作，实现数据资源的互联互通，让大数据更简单。
数据虚拟化引擎 openLooKeng 简单易用，具备统一的SQL接口，可实现对底层各种数据源SQL 方言的屏蔽，方便用户消费数据。此外，openLooKeng不仅提供跨多种数据源联合查询能力，还将跨源查询能力进一步延展，使地理上远程的 openLooKeng 集群能够参与相同的查询，且达到接近“本地”的性能。
此次双方的联合，也将彼此的优势进一步扩大，openLooKeng 强大的跨源跨域特性让 Linkis拥有更丰富的性能，使其实现支持跨源异构查询、跨域跨 DC 等查询型任务。而 Linkis 作为计算中间件，通过利用 openLooKeng Connector 基于Linkis 的 EngineConn Plugin（ECP）的联通能力，可以连接更多的底层计算存储组件，从而消除数据孤岛，实现数据融合，减少资源浪费，满足业务发展的不同需求。
架构图
此次 Linkis 和 openLooKeng 双方结合开发的新版本，将提供如下性能：
基于Linkis的计算中间件层的连接能力可以让上层应用工具快速对接使用openLooKeng，提交任务，并获取日志、进度、结果；
基于Linkis的公共服务能力可以做到对 openLooKeng 的 SQL 完成自定义变量替换、UDF管理等；
基于 Linkis 的上下文能力可以打通openLooKeng的结果传递给下游 Spark、Hive 等 EC 进行查询；
基于 Linkis 的资源管控和多租户能力可以将任务进行租户隔离和 openLooKeng 资源的使用；
基于openLooKeng 的连接器能力上层应用工具可以做到完成提交跨源异构查询、跨域跨 DC 查询型任务，并获得秒级返回。
社区研发人员预计 Linkis 将在 4 月中下旬发布该版本，后续双方社区也将进一步合作，推出其他功能，如 Linkis 支持 openLooKeng on Yarn 模式、基于openLooKeng的混算能力优化Linkis Orchestrator 的能力去完成后续计划的 EC 间的混算能力等等。希望届时小伙伴们能够下载体验，为后续的优化提供更加强有力的建议与帮助，一起打造全面连通融合的金融级大数据平台。
Linkis 在上层应用程序和底层引擎之间构建了一层计算中间件。通过使用Linkis 提供的REST/WebSocket/JDBC 等标准接口，上层应用可以方便地连接访问MySQL/Spark/Hive/Presto/Flink 等底层引擎，同时实现变量、脚本、函数和资源文件等用户资源的跨上层应用互通。
作为计算中间件，Linkis 提供了强大的连通、复用、编排、扩展和治理管控能力。通过计算中间件将应用层和引擎层解耦，简化了复杂的网络调用关系，降低了整体复杂度，同时节约了整体开发和维护成本。
官网地址：https://linkis.apache.org/
openLooKeng的LooKeng取自中国著名数据家华罗庚先生的英文名Loo-keng Hua。同时LooKeng的发音也与Looking相近，寓意查询分析各种数据，让大数据更简单。
openLooKeng是一种"开箱即用"的引擎，支持在任何地点（包括地理上的远程数据源）对任何数据进行原位分析。它通过SQL 2003接口提供了所有数据的全局视图。openLooKeng具有高可用性、自动伸缩、内置缓存和索引支持，为企业工作负载提供了所需的可靠性。
传统分析模型图
openLooKeng用于支持数据探索、即席查询和批处理，具有100+毫秒至分钟级的近实时时延，而无需移动数据。openLooKeng还支持层次化部署，使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力，涉及远程数据的查询可以达到接近“本地”的性能。
使用openLooKeng统一入口进行协同分析
官网：https://openlookeng.io
社区代码仓：https://gitee.com/openlookeng、https://github.com/openlookeng
写在最后
openLooKeng&Linkis 的联合版本发布后将面向社区用户邀请试用，届时如果你有这方面的需求，可以和我们取得联系（小助手ID：WeDataSphere） 。
本文分享自微信公众号 - WeDataSphere（gh_273e85fce73b）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。