Linkis:https://github.com/WeBankFinTech/Linkis
DataSphereStudio:https://github.com/WeBankFinTech/DataSphereStudio
用户登录认证方式：
https://mp.weixin.qq.com/s/OB3H0xnWIZ9-mTy9FI3UkA
LDAP参考文档：
https://www.sohu.com/a/284300312_283613
DataSphereStudio（DSS）是微众银行开源的一站式大数据开发平台，开源于19年7月左右，目前市面上只发现这一个产品。基于公司需求，我们调研后发现基本满足现有的需求，于是安装。安装过程踩了些坑，在这里记录分享下。
环境：
centOS7
DSS 0.7.0
Linkis 0.9.3
1.spark任务请求资源报错，版本不兼容，如下：
ERROR DWCException{errCode=20010, desc='NoSuchMethodError: org.apache.hadoop.io.retry.RetryPolicies.retryOtherThanRemoteException(Lorg/apache/hadoop/io/retry/RetryPolicy;Ljava/util/Map;)Lorg/apache/hadoop/io/retry/RetryPolicy;', ip='nl-dss2', port=9106, serviceKind='sparkEntrance'
微众使用的hadoop版本是2.7.2，spark使用的是2.4.3，spark内hadoop的相关的包是2.7.3版本，在安装成功后请求spark资源的时候会报错，将linkis-ujes-spark-enginemanager下原有的hadoop移出，把spark jars下面的hadoop复制到linkis-ujes-spark-enginemanager的lib下，就可以了
2.分布式安装的时候报错（获取Yarn队列信息异常）需要你的hadoop集群互相免密
先排查下访问yarn的web借口是否有问题，可以把yarn的web地址直接配成wds.linkis,yarn.rm.web.address属性，在RM的linkis.properties里
分布式安装时distribution.sh不要有默认的127.0.0.1，全都写成真实的ip或者主机名，安装后最好检查下每个任务的application.yml，里面的defaultZone可能有错。分布式安装后，其他台的机器我还需要自己启动，start-all.sh无法启动其他机器上的服务，希望这点后面版本能够改进。
3.新增用户后，查看不了元数据
我是开启了hive权限，grant all on database default to user test 后好了。
4.visualis显示没有权限查看：暂未解决
5.总资源数会变动，本来有48G内存，用到24G的时候显示100%使用
解决办法：我们一开始用的Capacity Scheduler,后来换成Fair Scheduler就好了
6.启动一次spark任务，结果启动了两个引擎，还在检查，可能是同时请求的并发数太多了，等待时间过了，导致重新请求，结果起了两个：原因可能是多次点击运行和取消。
7.hive执行计算的时候报错：
The ownership on the staging directory /tmp/hadoop-yarn/staging/test4/.staging is not as expected. It is owned by root. The directory must be owned by the submitter test4 or by test4
权限问题，需要把新建用户放到supergroup里，工作流删除重建就可以了，不然还会报这个错：
8.更新到DSS0.8.0后，使用ldap上的账号建工作流时报错：
解决办法：新增用户需要在dss-serve/conf下的token.properties和azkaban/conf下的azkaban-users.xml增加相关用户信息