Alluxio擴容

拷貝源碼工程

在正常運行的worker的alluxio父目錄，執行如下命令：

scp -r alluxio-1.8.1/ [目標機器host]:[目標目錄]

拷貝完成後，在目標機器上執行如下命令，root用戶修改目錄權限：

ln -sfn alluxio-1.8.1 alluxio
chown -R hdfs:hdfs ./alluxio ./alluxio-1.8.1

worker初始化

初始化worker服務器，在worker服務器上執行：

#!/bin/bash
mkdir /mnt/ramdisk/
mkdir /var/log/alluxio
#useradd hdfs -> 已有該用戶
#useradd alluxio
mount -t ramfs -o size=20g ramfs /mnt/ramdisk/
chown -R hdfs:hdfs /mnt/ramdisk/ /var/log/alluxio
#chown -R hdfs:hdfs /data* 當前磁盤目錄被hadoop使用，且目錄權限與alluxio不一致，所以需要重新創建hdfs:hdfs權限的磁盤目錄進行掛載

修改環境變量

export JAVA_HOME=/usr/java/latest
export PATH=/opt/bigdata/app/zookeeper/bin:$JAVA_HOME/bin:/opt/bigdata/app/alluxio/bin:/usr/share/jmxtrans/bin:$PATH
 
export ALLUXIO_CONF_DIR=/opt/bigdata/conf/alluxio/conf

上下是兩種擴容方式

---

Alluxio擴容ansible執行命令記錄

# 初始化操作
ansible new -m shell -a "useradd hdfs; useradd <mark>alluxio</mark>; echo '<mark>alluxio</mark>:\$1\$7Ril6Hee\$yTEG1/3qlAA5Au8fqbEpQ0' |chpasswd -e" -k
ansible new -m shell -a 'mkdir -p /var/log/<mark>alluxio</mark>/; chown -R hdfs:hdfs /var/log/<mark>alluxio</mark>/' -k
ansible new -m shell -a 'echo "export PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/opt/bigdata/zookeeper/bin:/opt/bigdata/app/<mark>alluxio</mark>/bin" >> /etc/profile' -k
 
# 下發 app 配置
cd /opt/bigdata/app/; tar -zvcf <mark>alluxio</mark>-1.8.1.tar <mark>alluxio</mark>-1.8.1/
ansible new -m copy -a 'src=/opt/bigdata/app/<mark>alluxio</mark>-1.8.1.tar dest=/opt/bigdata/app/' -k
ansible new -m shell -a 'cd /opt/bigdata/app/; tar -zvxf <mark>alluxio</mark>-1.8.1.tar; rm -f <mark>alluxio</mark>-1.8.1.tar; ln -sf <mark>alluxio</mark>-1.8.1 <mark>alluxio</mark>;' -k
 
# 磁盤掛載
ansible new -m shell -a 'mkdir -p /mnt/ramdisk/; mount -t ramfs -o size=64g ramfs /mnt/ramdisk/; chown -R hdfs:hdfs /mnt/ramdisk/;' -k

ansible new -m shell -a 'echo "mount -t ramfs -o size=64g ramfs /mnt/ramdisk/" >> /etc/rc.d/rc.local; echo "chown -R hdfs:hdfs /mnt/ramdisk/" >> /etc/rc.d/rc.local' -k

ansible new -m shell -a 'chown -R hdfs:root /data/' -k
 
# 目錄所屬權限修改
ansible new -m shell -a 'chown -R <mark>alluxio</mark>:<mark>alluxio</mark> /var/log/<mark>alluxio</mark>/; chown -R <mark>alluxio</mark>:<mark>alluxio</mark> /opt/bigdata/app/<mark>alluxio</mark>-1.8.1' -k
ansible new -m shell -a 'chown -R presto:presto /data/presto/' -k
 
# worker啓停
ansible new -m shell -a 'su - hdfs -c "source /etc/profile; /opt/bigdata/app/<mark>alluxio</mark>/bin/<mark>alluxio</mark>-stop.sh worker"' -k
ansible new -m shell -a 'su - hdfs -c "source /etc/profile; /opt/bigdata/app/<mark>alluxio</mark>/bin/<mark>alluxio</mark>-start.sh worker NoMount"' -k