最近閒來無事,又拿起了hadoop,在本地搭建了一個僞分佈式,步驟有點多,特此記錄一下
下面開始搞!
首先你得有jdk和hadoop的tar包,這個自行去下載哈,網上有很多(版本建議jdk1.8、hadoop建議2.x.)
我是把包放在了opt這個目錄下
如圖
我這裏是新建了一個文件夾來進行存放,爲了便於管理
mkdir jdk
mkdir hadoop
下面進行解壓
tar -zxvf 文件路徑 -C 解壓路徑
這裏你是什麼目錄就按着上邊來
解壓好之後,記着路徑,建議用截圖工具截一張圖貼在屏幕上
進入到profile進行配置
vim /etc/profile
進入後,先把光標移動到最下方,按小寫i進入到插入模式
先配置Java的環境變量
export JAVA_HOME=/opt/jdk/jdk1.8.0_141
export PATH=$JAVA_HOME/bin:$PATH
接下來是hadoop的
export HADOOP_HOME=/opt/hadoop/hadoop
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
這裏的路徑就改成你自己的路徑
配置完後如下圖:
接下來執行
source /etc/profile
接着輸入Java -version
如果沒有出現這個,輸入Java或者javac也沒有出現東西的
那肯定就是你的環境變量配置錯了,檢查一下路徑,改完後再次執行 source /etc/profile
下面是檢驗hadoop的
執行下圖命令進入到文件夾內,首先來配置hadoop.env.sh
這裏也可以一次性進入,上圖只是爲了演示
cd /opt/hadoop/hadoop/etc/hadoop
如下:
找到hadoop-env.sh
vim hadoop-env.sh
把這個路徑改成jdk的目錄
改完之後,接着改core-site.xml
vim core-site.xml
<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000<value>
</property>
<!-- 指定Hadoop運行時產生文件的存儲目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp<value>
</property>
記得新建一下tmp文件夾,在hadoop目錄的下面
命令是 mkdir
接着再修改名爲hdfs-site.xml
vim hdfs-site.xml
<!-- 指定hdfs產生的副本數量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- 指定NameNode運行時產生文件的存儲目錄 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/opt/hadoop/hadoop/tmp/dfs/name</value>
</property>
<!-- 指定DataNode運行時產生文件的存儲目錄 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/opt/hadoop/hadoop/tmp/dfs/data</value>
</property>
同樣是記得添加文件夾
接着改mapred-site.xml
因爲沒有這個所以需要借用一個叫mapred-site.xml.template的文件夾
使用cp mapred-site.xml.template mapred-site.xml命令,這裏就是把後面的template後綴刪掉了
改完之後, vim mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
接着把yarn-site.xml也一起改完了
vim yarn-site.xml
添加配置
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
改完之後按Esc :wq保存,前面的修改完都是一樣的
上面的配置全部完成之後
執行NameNode的格式化
hdfs namenode -format
執行開啓命令
start-dfs.sh //啓動
stop-dfs.sh //關閉
輸入 jps
看看有沒有這些,如果沒有DataNode
在這感謝這位大佬提供的方案!
訪問地址是你本機的ip和50070端口
完成後如下圖
啓動yarn
start-yarn.sh
在瀏覽器輸入: ip:8088就可以進去了
啓動yarn就是可以通過web端來查看運行情況
到這就搭好了,小弟寫的比較簡單粗略,歡迎大佬指正錯誤!