服务器环境:
服务器:centos7
搭建步骤:略
SSH免密登陆
- 新建用户和用户组(hadoop): https://blog.csdn.net/zhbzhbzhbbaby/article/details/80824428
- 给用户添加sud权限 因为Linkis的服务是以 sudo -u ${linux-user} 方式来切换引擎,从而执行作业,所以部署用户需要有 sudo 权限,而且是免密的 https://www.cnblogs.com/jacob-tian/p/6477638.html:
vi /etc/sudoers
hadoop ALL=(ALL) NOPASSWD: NOPASSWD: ALL
重启:
source /etc/sudoer
3.切换到相应的用户目录下:
su hadoop
- 设置免密
sudo service sshd status ## 查看ssh服务状态
sudo service sshd restart ##重启ssh服务
第0步:cd .ssh/
第一步:ssh-keygen -t rsa //然后提示输入直接按回车就好
第二步:cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
第三步:chmod og-wx ~/.ssh/authorized_keys
第四步:chmod 750 $HOME
第五步:ssh localhost #在使用ssh登陆;如果直接登陆进来了就证明成功了;
搞定!
- 安装hadoop:https://blog.csdn.net/cafebar123/article/details/73500014
- 安装spark:https://blog.csdn.net/penyok/article/details/81483527 (spark安装scala:https://www.cnblogs.com/shaosks/p/9242181.html)
- 安装hive:https://www.cnblogs.com/thisyan/p/9609497.html
- 安装nginx:https://www.tecmint.com/install-nginx-on-centos-7/
linkis 安装指南
- MySQL (5.5+),如何安装MySQL(https://www.runoob.com/mysql/mysql-install.html)
- JDK (1.8.0_141以上),如何安装JDK(https://blog.csdn.net/u010590120/article/details/94736800)
- Python(2.x和3.x都支持),如何安装Python(https://www.cnblogs.com/xiujin/p/11477419.html)
部署指南
根据上述的操作、所有的环境都可以搭建完成;后续根据linkis提供的文档一键安装即可;