記:
最近酒店到期,所以忙於租房找房子,搬家,晚上下班的空餘時間,寫完這一篇。
準備好jdk和hadoop壓縮包
這裏我jdk選用的是jdk-8u191-linux-x64.tar.gz,hadoop選用的是hadoop-2.7.5.tar.gz。
這裏我就選用一臺虛擬機來作爲配置的例子,將包上傳到linux虛擬機。爲了統一管理,我將jdk解壓到了/usr/java/目錄下,如圖2-1。
配置jdk的環境變量
修改文件/etc/profile,在文件末尾加入
export JAVA_HOME=/usr/java/jdk1.8.0_191
PATH=$PATH:$JAVA_HOME/bin
修改文件後要source /etc/profile,之後輸入java -version就可以驗證是否配置成功了。
ssh免密登錄配置
安裝ssh,可以先通過命令查看要安裝的ssh是哪個,yum list | grep ssh;之後選擇安裝 yum install -y openssh-clients.x86_64;之後就是連接一下自己驗證一下是否安裝成功。
在自己的家目錄中輸入ll -a,如圖2-3,可以看到有個文件爲.ssh
下面正式配置免密登錄,首先輸入密鑰生成器的命令:
ssh-keygen -t rsa
如圖2-4,執行完以上命令後會生成公鑰和私鑰文件,作爲管理節點,可以將公鑰給別人就行了,緊接着,要進行以下命令,追加重定向到一個認證文件中,以達到免密登錄,輸入完追加命令後,第二條命令是驗證是否免密登錄成功。
cat id_rsa.pub >> authorized_keys
ssh localhost
hadoop僞分佈式安裝
爲了花裏胡哨,我在/opt創建了一個目錄叫xige,我將hadoop解壓於此,如圖2-3.
解壓完成後,就是配置hadoop環境變量,跟jdk的環境變量配置同理,不同的是,不僅要配置bin,而且還要配置sbin,直接在/etc/profile文件下追加環境變量,包括jdk的環境變量,配置完成後記得要source一下。
export JAVA_HOME=/usr/java/jdk1.8.0_191
export HADOOP_HOME=/opt/xige/hadoop-2.7.5
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
hadoop文件配置(僞分佈式)
進入目錄/opt/xige/hadoop-2.7.5/etc/hadoop,可以在這目錄下看到很多配置文件。
1)修改hadoop-env.sh文件,目的是告訴jdk的在哪裏。
#找到這一變量,輸入正確的JAVA_HOME
export JAVA_HOME=/usr/java/jdk1.8.0_191
2)如果僅僅是使用文件系統的話,修改完上面第一個文件就夠了,但是爲了以後,就順便修改一下計算框架文件的環境變量(mapred-env.sh)和資源管理的環境變量(yarn-env.sh)
3)修改core-site.xml(規定的是主節點進程的配置信息)
<configuration>
<!-- master爲我的主機名 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!-- 存放元數據信息和塊信息,指定的文件會自動創建 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/var/junxi/hadoop/local</value>
</property>
</configuration>
4)修改hdfs-site.xml(規定從節點的配置信息,配置SecondaryNameNode)
<configuration>
<!-- 說明副本數爲1,這裏我是僞分佈式,以後實現分佈式的時候再改 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:50090</value>
</property>
</configuration>
5)修改slaves文件(從節點的信息,規定哪些節點是datanode)
master
完成以上配置文件修改後,需要進行配置後的namenode格式化
格式化的目的是對之前的配置信息進行生效,比如,本來最開始我們配置存放的元數據和塊信息的目錄是不存在的,只有配置過後,會自動生成。直接輸入命令:
hdfs namenode -format
成功之後,如圖2-4
格式化成功完成後,啓動,start-dfs.sh,如圖2-5,可以看到所有配置的服務都啓動成功了。
在瀏覽器地址欄輸入這臺linux的地址加端口號50070,如圖2-6.表面搭建僞分佈式成功。之後的hdfs命令那些太簡單了,就不演示了,在之後的項目中會慢慢演示的了。