原创 Python使用paramiko模塊實現遠程執行

1、安裝模塊 [root@spark ~]# pip install paramiko 2、py腳本 [root@spark ~]# cat run_job_remote.py #!/usr/bin/env python #enco

2020-05-31 09:33:37

原创 Centos7 修改內核引導順序

注：CentOS 7 使用 grub2 作爲引導程序。 1、查看系統內部內核數： cat /boot/grub2/grub.cfg |grep menuentry 2、配置從默認內核啓動： grub2-set-default "Ce

2020-05-31 09:33:37

原创 Zeppelin部署

1、下載 http://mirror.bit.edu.cn/apache/zeppelin/zeppelin-0.8.1/zeppelin-0.8.1-bin-netinst.tgz 2、解壓 tar zxvf zeppelin-0.8

2020-05-31 09:33:27 1

原创 spark操作hive

1、下載spark並解壓 wget http://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-2.3.4/spark-2.3.4-bin-hadoop2.6.tgz tar zxvf

2020-02-22 09:25:52

原创 Load CSV File to Hive

1、創建表 CREATE TABLE t_user ( id INT, username STRING, password STRING ) ROW FORMAT SERDE 'org.apache.hadoop.hive.se

2020-02-22 09:25:52

原创 Apache Ranger安裝部署

1、下載 $ git clone https://github.com/apache/incubator-ranger.git $ cd incubator-ranger $ git checkout ranger-1.2 2、編譯

2019-09-04 23:01:37 61

原创 CentOS 7 中 YUM安裝桌面環境

我的Centos7是最小化安裝的 1、首先要先安裝X Windows： # yum upgrade # yum -y groupinstall "X Window System" 2、安裝KDE環境： # yum -y groups

2019-09-02 22:55:02

原创 DBeaver訪問不了kerberos環境的hive

1、錯誤：unsupported key type found the default TGT: 18 * 原因：這個是AES256加密算法，需要安裝JCE POLICY。 * 解決辦法： 1）下面地址下載JCE包：       http

2019-09-02 22:55:02

原创 Hive無法讀取Parquet

查詢Hive表，報錯：Failed with exception java.io.IOException:parquet.io.ParquetDecodingException: Can not read value at 0 in bl

2019-08-02 11:11:21 1

原创 CentOS 常用命令整理

1、網絡命令： （1）網卡地址 [spark@master ~]$ ip add 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group def

2019-07-09 12:11:02

原创 Centos7 配置ISO鏡像文件爲本地YUM源

1）創建掛載路徑 sudo mkdir /media/iso 2）掛載ISO鏡像到目錄 sudo mount -o loop CentOS-7-x86_64-Minimal-1708.iso /media/iso 3）驗證掛載 df

2019-07-05 10:43:34

原创 Centos7 使用阿里雲的YUM源

1）備份yum源 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.bak 2）下載阿里雲的CentOS-Base.repo wget -O

2019-07-05 10:43:34

原创 docker swarm集羣搭建以及安裝shipyard

1）docker安裝 https://blog.csdn.net/kanaka10/article/details/94552323 2）配置swarm集羣 $ sudo docker swarm init --advertise-ad

2019-07-04 22:44:06

原创 Docker 安裝部署

1)  使用yum 安裝yum-utils sudo yum install -y yum-utils 2) 增加docker源 sudo yum-config-manager \ --add-repo \ https://downl

2019-07-03 11:14:56