【Hadoop】(一) 分佈式環境搭建

一、創建虛擬機配置基本環境

創建三臺虛擬機
1、下載jdk包
2、解壓配置環境變量
3、具體安裝步驟參考
https://blog.csdn.net/weixin_42804692/article/details/103221609

二、無密登錄

三臺虛擬機互通，決定好誰做主機誰做從機
主機生成密鑰對，id_rsa.pub公鑰

[root@yang ~]ssh-keygen –t rsa –P ''
[root@yang ~]cd /etc/.ssh/
[root@yang ~]ll
-rw-------. 1 root root 1679 Dec  6 08:57 id_rsa
-rw-r--r--. 1 root root  391 Dec  6 08:57 id_rsa.pub

其他兩臺從機沒有.ssh目錄，建議生成密鑰對後刪除id_rsa.pub然後把主機的公鑰複製到兩臺從機的.ssh目錄下

[root@yang ~]scp id_rsa.pub root@192.168.56.172:/root/.ssh/

切換到從機，把主機的公鑰複製到另一個文件authorized_keys中，並給文件賦權600

[root@yang2 ~]cat id_rsa.pub >> authorized_keys
[root@yang2 ~]chmod 600 authorized_keys

連接的時候輸入地址長又繁瑣，把地址和主機名映射
地址和主機名綁定,vi /etc/hosts 在文件末尾追加 ip地址 主機名

[root@yang2 ~]vi /etc/hosts
192.168.56.171 yang
192.168.56.172 yang2
192.168.56.173 yang3

三、配置hadoop安裝配置

主機中
1、安裝包解壓，移動文件夾，改名

[root@yang opt]# tar -zxvf hadoop-2.6.0-cdh5.14.2.tar.gz
[root@yang opt]# mv hadoop-2.6.0-cdh5.14.2 soft/hadoop260
[root@yang opt]# ls
hadoop-2.6.0-cdh5.14.2.tar.gz  jdk-8u11-linux-x64.tar.gz  soft

2、修改配置文件
需要修改的配置文件,在/soft/hadoop260/etc/hadoop目錄下
hadoop-env.sh
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
slaves
1.配置hadoop-env.sh

[root@yang opt]# cd soft/hadoop260/etc/hadoop
[root@yang hadoop]# vi hadoop-env.sh 
文件中改：
export JAVA_HOME=/opt/soft/jdk18011 #具體的Java安裝路徑

2.配置core-site.xml

[root@yang hadoop]# vi core-site.xml
文件中加：
<configuration>
        <property>
                <name>fs.defaultFS</name>
                <value>hdfs://yang:9000</value>
        </property>
        <!--臨時文件存放-->
        <property>
                <name>hadoop.tmp.dir</name>
                <value>/opt/soft/hadoop260/tmp</value>
        </property>
        <!--開放訪問權限-->
        <property>
                <name>hadoop.proxyuser.root.hosts</name>
                <value>*</value>
        </property>
        <!--可訪問的用戶組-->
        <property>
                <name>hadoop.proxyuser.root.groups</name>
                <value>*</value>
        </property>
</configuration>

3.配置hdfs-site.xml

[root@yang hadoop]# vi hdfs-site.xml
<configuration>
		<!-- 數據塊的副本個數-->
        <property>
                <name>dfs.replication</name> 
                <value>1</value>  
        </property>
        <!--hdfs的訪問權限-->
        <property>
                <name>dfs.permissions</name>
                <value>false</value>
        </property>
</configuration>

4 mapred-site.xml有一個模板，拷貝這個模板進行配置

[root@yang hadoop]# cp mapred-site.xml.template mapred-site.xml
[root@yang hadoop]# vi mapred-site.xml
<configuration>
        <property>
                <name>mapreduce.framwork.name</name>
                <value>yarn</value>
        </property>
</configuration>

5.配置yarn-site.xml

<configuration>
        <property>
                <name>yarn.resourcemanager.hostname</name>
                <value>yang</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
</configuration>

6.配置slaves

cong2
cong3
(localhost爲僞分佈，主機，從機是一個機器)

6.配置Hadoop環境變量

[root@yang ~]#vi /etc/profile

export HADOOP_HOME=[你的hadoop具體安裝路徑]
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_INSTALL=$HADOOP_HOME

[root@yang ~]#source /etc/profile

如果搭多臺機器則把再主機上配置好的hadoop整個文件夾拷貝到其他兩臺機器上

[root@yang soft]#scp -r hadoop260 root@192.168.56.172:/opt/soft/

啓動Hadoop
先格式化，再啓動

[root@yang hadoop]#hdfs namenode -format
[root@yang hadoop]#start-all.sh
[root@yang hadoop]#jps
2448 DataNode
2355 NameNode
2645 SecondaryNameNode
2805 ResourceManager
3237 Jps
2902 NodeManager

瀏覽器輸入ip:50070出現Hadoop的管理界面

hadoop 操作文件/目錄的基本命令

hdfs dfs -mkdir -p [目錄名]
hdfs dfs -rm -r [目錄名/文件名]
hdfs dfs -put [/目錄名/文件名] [/路徑]
hdfs dfs -get [/路徑] [/目錄]