Meetup 02期回顾：DataSphereStudio1.0 系统介绍

主题： 《DataSphereStudio1.0系统介绍 》

讲师： 刘有 微众银行大数据平台工程师

GitHub： https://github.com/WeBankFinTech/DataSphereStudio

以下内容为分享文字版本，点击 阅读原文 可查看完整视频

近期 DSS 迎来了新版本的更新《版本动态 | DataSphereStudio 1.0.1版本发布》， 此次微众银行大数据平台工程师，刘友为社区伙伴带来详细的关联组件版本、特性等内容的介绍 ，同时，也将重点和大家分享 AppConn 节点调度执行流程。帮助社区伙伴了解当前最新开源版本进展情况和后续规划，日常使用问题的排查技巧。

如下是 DSS1.0 的层级结构，首先在框架层，我们分为工程框架workspace ，工作空间框架和编排框架；第二层是 App Conn，这里对它进行了详细的细分。App Conn自身的一些定义和加载App Conn loader。然后是细化的规范，如SSO 集成，我们组织结构规划，应用开发流程规划。

下面又分了角色工程集成规划，应用开发规范，增删改查等（目前对环境并没有分太细）。ID code service 层，主要去负责具体的一些服务；最终交给具体的某个 operation 去做。具体逻辑是：比如在 operation 里面去实现一个节点的新增，实践一个节点的导出，实践工作的节点的一个导入，都由operation 去具体实现。

涉及到第三方系统和组件，整个层次里面除了用到 App Conn之外，还离不开“标签”，也是 DSS 1.0 新增的一个定义，标签在很多地方上都会有用到，起到了路由的作用，能够在我们App Conn，因为也是支持多 instance 的，能够根据具体的 “标签 ” 能够加载不同的 instance ，然后将请求发送到对应的实例服务上面去，这是“标签”的路由能力。

App Conn 在整个 DSS 框架里是一个绕不开的话题，起到连接的作用。除了框架层，在组件之间、规范和第三方组件也用到App Conn；比如说像 workflow App Conn，编排 App Conn，也实现了App Conn 去连接各个组件。

关于编译，一般在 DSS App Conn 模块中会有特定的 Visualis  App Conn，编译后会形成一个Visualis recall 的包（具体参加视频内容）。我们原来是提供了简单的安装脚本，install  App Conn.sh 主要将这个  App Conn 包放到DSS 部署目录的DSS  App Conn 目录下，然后对App Conn 里面的 init SQL 进行变量的修改，转换成真正的部署环境需要的信息和 IP ，把它写入数据库，再去刷新 project 。对  App Conn的加载完成后，project 目前是能够做到动态加载的，还做不到实时的自动刷新，比如说 workflow 可能要重启一下 DSS 服务器来完成整个  App Conn的加载过程。

1.0.1 是并发引擎，我们下一个版本将完全异步，执行结束会有异步管理队列去登执行情况。比如 data check 一直在找消息，可能数小时，根据设定的时间才会结束，才能用。但是引擎本身可以接更多节点来执行的。

另外比较重要的是， 基于我们 带过来的 节点执行 的 标 签，去找具体 实例去转化对应的服务， 标签是要重点关注的。

DataSphereStudio 1.0 界面

然后 1.0 这一块的话，还有我们很多用户在问的就是怎么去用这个数据服务？数据服务这一块。首先我们是要去把数据服务去基于这个 script 脚本创建的。那么之前的话可能有的用户都没看到有这个按钮，说发发布数据服务的这个发挥是或者原来这个按钮都没有找得到。那么这个时候我们要注意一下，他是在这个工作空间里面是有一个这个管理的，他要把那个数据服务的那个角色勾选之后帮用户勾选之后，那么他打开这个 script 脚本单页面的时候，他才能够在这里展示出来。而且目前在这一块数据服务的话，它只支持这个 Spark SQL 等类型的这个任务去创建数据服务。

DSS1.0.1版本组件对接说明

在未来社区会继续优化 DSS 在业务系统中的应用，也期待和大家交流经验。 

备注说明：

1、 参与社区提问的开发者 ，请扫码添加小助手，可以获得社区定制的开源精美礼品一份；

2、公众号后台回复“四大组件”获取讲师分享材料

3、点击“阅读原文”可查看完整视频

扫码添加WeDataSphere小助手

参与社区贡献的方式

（1）新手任务：认领入门任务，详见https://github.com/apache/incubator-Linkis/issues/1161

（2）作品沉淀：发布WeDataSphere开源组建相关内容，包括但不限于安装部署教程、使用经验、案例实践等，形式不限，请投稿给小助手。如：

（3）贡献代码：PR和Issue；

（4）答疑：热心为开发者答疑，如社区群回答开发者问题、issue答疑等；

（5）其他：沙箱体验、参与活动、成为社区志愿者等；

本文分享自微信公众号 - WeDataSphere（gh_273e85fce73b）。
如有侵权，请联系 [email protected] 删除。
本文参与“OSC源创计划”，欢迎正在阅读的你也加入，一起分享。