Spark学习笔记1. 伪分布式&全分布式环境搭建

安装Linux、JDK等等
解压：tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz -C ~/training/
由于Spark的脚本命令和Hadoop有冲突，只设置一个即可（不能同时设置）
配置文件：/root/training/spark-2.1.0-bin-hadoop2.7/conf/spark-env.sh
                 /root/training/spark-2.1.0-bin-hadoop2.7/conf/slaves

（1）伪分布： bigdata11
    spark-env.sh
        export JAVA_HOME=/root/training/jdk1.8.0_144
        export SPARK_MASTER_HOST=bigdata11
        export SPARK_MASTER_PORT=7077

    slaves
        bigdata111

    启动：sbin/start-all.sh
    Spark Web Console（内置Tomcat：8080） http://ip:8080
        
（2）全分布：三台
     Master节点： bigdata12
     Worker从节点：bigdata13 bigdata14
    spark-env.sh
        export JAVA_HOME=/root/training/jdk1.8.0_144
        export SPARK_MASTER_HOST=bigdata112
        export SPARK_MASTER_PORT=7077        

    slaves
        bigdata13
        bigdata14                
        
    复制到从节点上
        scp -r spark-2.1.0-bin-hadoop2.7/ root@bigdata13:/root/training
        scp -r spark-2.1.0-bin-hadoop2.7/ root@bigdata14:/root/training
        
    在主节点上启动: sbin/start-all.sh

 

注意:

全分布式环境时,slaves.template 务必重命名一份slaves,在slaves 编辑从节点地址,不然全分布式环境搭建失败.(来自血淋淋的教训)