Linux[CentOS 7]下搭建hadoop僞分佈式

 

最近閒來無事,又拿起了hadoop,在本地搭建了一個僞分佈式,步驟有點多,特此記錄一下

下面開始搞!

首先你得有jdk和hadoop的tar包,這個自行去下載哈,網上有很多(版本建議jdk1.8、hadoop建議2.x.)

我是把包放在了opt這個目錄下

如圖

我這裏是新建了一個文件夾來進行存放,爲了便於管理

mkdir jdk
mkdir hadoop

下面進行解壓

tar -zxvf 文件路徑 -C 解壓路徑

這裏你是什麼目錄就按着上邊來

解壓好之後,記着路徑,建議用截圖工具截一張圖貼在屏幕上

進入到profile進行配置

vim /etc/profile

進入後,先把光標移動到最下方,按小寫i進入到插入模式

先配置Java的環境變量

export JAVA_HOME=/opt/jdk/jdk1.8.0_141
export PATH=$JAVA_HOME/bin:$PATH

接下來是hadoop的

export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

這裏的路徑就改成你自己的路徑

配置完後如下圖:

接下來執行

source /etc/profile

接着輸入Java -version

如果沒有出現這個,輸入Java或者javac也沒有出現東西的

那肯定就是你的環境變量配置錯了,檢查一下路徑,改完後再次執行 source /etc/profile

 

下面是檢驗hadoop的

執行下圖命令進入到文件夾內,首先來配置hadoop.env.sh

這裏也可以一次性進入,上圖只是爲了演示

cd /opt/hadoop/hadoop/etc/hadoop

如下:

找到hadoop-env.sh

vim hadoop-env.sh

把這個路徑改成jdk的目錄

 

改完之後,接着改core-site.xml

vim core-site.xml

<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000<value>
</property>
<!-- 指定Hadoop運行時產生文件的存儲目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp<value>
</property>

記得新建一下tmp文件夾,在hadoop目錄的下面

命令是 mkdir

接着再修改名爲hdfs-site.xml

vim hdfs-site.xml

<!-- 指定hdfs產生的副本數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 指定NameNode運行時產生文件的存儲目錄 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop/hadoop/tmp/dfs/name</value>
</property>
<!-- 指定DataNode運行時產生文件的存儲目錄 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/hadoop/tmp/dfs/data</value>
</property>

同樣是記得添加文件夾

接着改mapred-site.xml

因爲沒有這個所以需要借用一個叫mapred-site.xml.template的文件夾

使用cp mapred-site.xml.template mapred-site.xml命令,這裏就是把後面的template後綴刪掉了

改完之後, vim mapred-site.xml 

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

 

接着把yarn-site.xml也一起改完了

vim yarn-site.xml

添加配置

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

 

改完之後按Esc   :wq保存,前面的修改完都是一樣的

上面的配置全部完成之後

執行NameNode的格式化

hdfs namenode -format

 執行開啓命令

start-dfs.sh //啓動
stop-dfs.sh //關閉

輸入 jps 

看看有沒有這些,如果沒有DataNode

解決方案

在這感謝這位大佬提供的方案!

 

訪問地址是你本機的ip和50070端口

完成後如下圖

 

啓動yarn

start-yarn.sh 

在瀏覽器輸入: ip:8088就可以進去了

啓動yarn就是可以通過web端來查看運行情況

 

到這就搭好了,小弟寫的比較簡單粗略,歡迎大佬指正錯誤!

 

 

 

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章