【我与WeDataSphere的故事】有奖征文活动,持续进行中



【我与WeDataSphere的故事】

有奖征文活动,持续进行中。

征文活动


活动时间

2020.10.19—2020.11.22

【我与WeDataSphere的故事】有奖征文活动,已经进入高潮,截至2020年11月17日已收到了11篇优秀案例的投稿,各位投稿者从多个方面讲述了公司之前遇到的问题、邂逅WeDataSphere时的惊喜、引入WeDataSphere套件并做定制化开发的最佳实践,和上线生产后为公司各种应用场景带来的巨大收益。

征文活动还在进行中,欢迎大家继续踊跃投稿分享自己的案例,并诚邀大家给自己喜欢的优秀案例进行点赞投票,【最受社区欢迎案例奖】将由您的点赞选出。




活动进展


GitHub链接:

https://github.com/WeBankFinTech/WeDataSphere/issues

以下是已投稿的11篇优秀案例简介(按投稿时间进行排序),征文地址如下:https://github.com/WeBankFinTech/WeDataSphere/issues,您也可以点击底部的阅读原文跳转至征文地址。




主要作品


与WeDataSphere一起

开源共建,拥抱未来

作品名

作者

《Linkis与SQL中间件(跨数据源混查)结合实践分享》

libailin

《DSS结合数据治理应用与实践》

Shmily  

《Linkis 新引擎实现分享》

 wForget 

《Linkis使用分享》

labulabuduo

《DSS在程序化广告中应用实践》

urzeric

《数据开发平台集成linkis分享》

JavaMrYang

《DSS+Linkis在知因智慧使用情况》

limeng  

《有酒吗?上两斤二锅头》 

ACodePorter

《天翼云对DSS的公有云改造和后续思路》

[email protected] 

《我的酒量大概就是一打啤酒或者半斤白酒,再或者WedataSphere的四两微笑》

ocean 

《天翼云数据中台工具的选型应用以及后续思路》

Adam Wang 




详细内容


听故事

 品WeDataSphere

案例主题:Linkis与SQL中间件(跨数据源混查)结合实践分享

案例分享人:libailin

案例简介:在公司有很多运营、数据分析的童鞋,有跨不同数据源混查的需求,如查询hive表的数据,但是维度映射数据在mysql里。还有要两个mysql数据库(不同服务器)关联查询等情况,之前使用的Apache Livy作为SQL执行入口,但是体验上不尽人意。看奇虎360的专家是如何通过Linkis与奇虎360自研开源的SQL中间件完美结合,来满足上述需求的?



案例主题:DSS结合数据治理应用与实践

案例分享人:Shmily 

案例简介:大数据对于公司的贷前、贷中、模型、风控业务以及客户生命周期管理等各个方面都起到了至关重要的作用,在未使用DSS前,对业务方来说,作业状态进度未知,各业务科室的分析作业没有统一的管理,作业调度发布流程繁琐随意,报表开发复杂,缺乏一个高效的、全流程打通的数据分析平台;对于数据团队来说,管理调度任务非常繁琐,需要耗费大量人力协助业务方开发。看萨摩耶数科是如何引入WeDataSphere的各个组件,并基于WeDataSphere的组件做二开定制化开发的?



案例主题:Linkis 新引擎实现分享

案例分享人:wForget (Linkis Committer)

案例简介:wForget是Linkis的Committer,由他主导的Linkis-0.11 版本,实现了全新的ElasticSearch 和 Presto 引擎,极大丰富了Linkis的应用场景。wForget将从执行引擎架构的选择、ES引擎如何实现资源并发控制、ElasticSearch 引擎的具体实现和DataSource 路由等四个层面来手把手教我们Linkis如何快速接入一个全新引擎,对Linkis底层技术细节感兴趣的同学一定不能错过这本《Linkis新引擎接入权威指南》。



案例主题:Linkis使用分享

案例分享人:labulabuduo

案例简介:公司的数据分析团队之前使用的是SAS软件,界面落后且需要在每台机器上都安装客户端,单机环境依赖于机器配置,无法与分布式集群速度相比,缺少高可用高并发的特性;而且sas作为国外成熟商业软件,采购价格不菲。为节省开支,支持办公软件国产化,看labulabuduo专家的公司引入WeDataSphere各组件,是如何适配内部的大数据环境,并替代SAS的日常分析类需求的?



案例主题:DSS在程序化广告中应用实践

案例分享人:urzeric 

案例简介:珑玺科技的大数据管理平台DMP,之前的计算任务都是用shell脚本进行定时调度, 随着业务需求越来越复杂, 所沉淀的脚本越来越多, 变得难以维护, 增加了迭代和沟通成本;平台的数据源多种多样,有:MySQL、NewSQL、TiDB等,需要做频繁的数据转换操作, 上下文切换成本高。看珑玺科技是如何利用WeDataSphere各组件高效的完成数据交换、数据开发、报表生产和调度来提升工作效率的?



案例主题:数据开发平台集成linkis分享

案例分享人:JavaMrYang

案例简介:公司的数据开发团队之前使用Hue和Notepad记事本开发脚本,开发较落后,需要先用记事本把脚本写好,在不同的环境hue界面测试开发脚本,然后再上传脚本到调度平台进行批量调度,过程较为繁琐,没有统一的界面进行开发维护,而且出错率高,没有自动提示。看JavaMrYang专家的公司是如何引入WeDataSphere组件,适配公司内部的大数据环境,并替换Hue完成数据开发和分析工作的?



案例主题:DSS+Linkis在知因智慧使用情况

案例分享人:limeng 

案例简介:知因智慧需要大量的ETL过程,原先用Shell脚本连接各种Hql,Spark等等,XXL- Job调度,可能一个模块就被一个大的脚本包含住了,耦合性特别强,调度这块也有问题,无法监控中间的报错。Limeng专家从Linkis LDAP、Linkis工作空间权限、Linkis metadata权限、兼容CDH-5.16.2和Linkis Hive引擎支持Tez等多个方面做了定制化开发,使得企业的数据挖掘和分析更加简易,协助建立标签特征体系,完成标签库的开发和调度,更好地助力企业金融服务。这么优秀的实践案例,走过路过,万不可错过!



案例主题:有酒吗?上两斤二锅头

案例分享人:ACodePorter

案例简介:ACodePorter专家是世界XXXL大厂的xxxxxxxx...s组小组组长一名,迫于生计开始陆续出去接客。几番周折和理解,客户对于数据处理的主要诉求:拖拉拽、一键式、智能、安全,安全,安全生产、明天能上线吗,看ACodePorter专家是如何使用WeDataSphere各个组件,通过做容器化改造和定制化开发,拉通从数据开发编写脚本,数据可视化生成报表,数据流组织业务,scheduls调度起来,从而漂亮拿下某市政务相关项目,带着兄弟们吃香喝辣的?



案例主题:天翼云对DSS的公有云改造和后续思路

案例分享人:[email protected] 

案例简介:[email protected] 是中国电信天翼云的开发专家,是DataSphere Studio-0.9.0版本的核心开发者之一。中国电信内部自引入WeDataSphere各组件之后,业务的反馈都还不错,同时领导也提出了把WeDataSphere组件改造成公有云版本的建议,luxl专家从对接天翼云的单点登录、安全性全面增强、用户工作空间HA、用户资源自动开通等多个方面做了非常多的定制化开发和改造,2个月便完成了全部改造工作,并使得WeDataSphere各组件成功上云。这么香的上云方案大家不来看看吗?



案例主题:我的酒量大概就是一打啤酒或者半斤白酒,再或者WedataSphere的四两微笑

案例分享人:ocean 

案例简介:公司之前是通过传统开发工具IntelliJ IDEA、PyCharm等来进行相应的业务开发,上传服务器之后通过一些开源调度系统进行跑批调度;且公司业务部门众多,产生过多的独立数据服务系统,导致整体资源利用率不高、众多数据孤岛、信息无法互联互通等等问题,影响了公司现有经营决策和快速变化的前端业务。看Ocean专家结合WeDataSphere现有的超多功能,如何从各业务部门的权限隔离、资源粗粒度隔离、脱离hive自带的权限管控、以及一些其他三方系统的集成,例如象形BI(未开源)、Datax-web等完成公司级大数据开发分析平台的开发和搭建。这里的酒窖很大,您不想细看一下吗?



案例主题:天翼云数据中台工具的选型应用以及后续思路

案例分享人:Adam Wang 

案例简介:Adam Wang是中国电信天翼云大数据平台的研发负责人,也是WeDataSphere多个产品的Committer。中国电信如此庞大的计算存储体量,且在商业化和开源的大数据产品繁多的情况下,是如何一眼相中了WeDataSphere,并选择基于WeDataSphere套件打造中国电信自有的大数据开发与服务平台——鲁班的?又是如何将内部规模非常大的老平台的旧的所有业务迁移到基于WeDataSphere构建的鲁班上的?如何使用鲁班去支撑内部的经营分析项目,承接一些重要的外部民生项目的?同时将鲁班搬到公有云上,如何支撑天翼云诸葛AI平台的大数据平台计算存储能力的?还有Adam Wang对开源的独有理解大放送,绝对不容错过!

扫码关注我们

微信号公众号 : WeDataSphere

GitHub:WeDataSphere

如果喜欢我们的产品或文章,请给我们的GitHub点上你宝贵的star和fork哦~~

更多资讯请扫描

👇

强势入群

👇


本文分享自微信公众号 - WeDataSphere(gh_273e85fce73b)。
如有侵权,请联系 [email protected] 删除。
本文参与“OSC源创计划”,欢迎正在阅读的你也加入,一起分享。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章