1，準備
jdk1.7或者1.8 hadoop2.6 對應tar包
hadoop 運行需要java編寫 運行需要jdk
rz 命令可以選擇 對應的文件上傳到linux
tar -zxvf ****.tar.gz 解壓縮對應的tar 文件
2，配置java環境
java -version 查看java版本
將jdk的tar包 解壓到自己定義的目錄 ~/app/jdk1.7
pwd 查看 當前目錄
配置java的環境變量
這裏有兩個文件可以配置 ~/.bash_profile 和 /etc/profile 這兩個文件配置哪裏都可以
● vi ~/.bash_profile //超級用戶所有 hadoop環境要配置在這裏面
● vi /etc/profile //獨立用戶所有
在上述兩個文件其中任意一個加入以下配置
export JAVA_HOME=/root/app/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin
生效環境變量
source /etc/profile
再次查看 java -version
3,配置hadoop環境
cd ~/app
在app文件下生成hadoop目錄
mkdir hadoop
rz 將hadoop的tar包上傳到 hadoop目錄下
解壓tar
tar -zxvf ***hadoop.26.tar.gz
增加hadoop的ssh免密登錄
生成無密碼公鑰
ssh-keygen -t dsa -p '' -f ~/.ssh/id_dsa
追加公鑰到authorized_keys
cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
驗證ssh登錄
ssh locahhost
ssh Master
修改主機名
vi /etc/hostname
Master
:x 或 :wq! 保存退出
指定ip
vi /etc/hosts
192.168.149.183 Master
創建三個hadoop 需要用到的三個相關文件夾
●mkdir /usr/local/hadoop/tmp
●mkdir -p /usr/local/hadoop/hdfs/name //-p 強制地櫃創建文件夾
●mkdir /usr/local/hadoop/hdfs/data
配置hadoop環境變量
vi ~/.bash_profile //超級用戶所有
HADOOP_HOME=/root/app/hadoop-2.6.4
PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME PATH
:wq! 退出報錯
生效環境變量
source ~/.bash_profile
4,修改hadoop的配置文件
進入到
cd /root/app/hadoop-2.6.4/etc/hadoop
修改hadoop-env.sh 文件
vi hadoop-env.sh
修改jdk 配置
export JAVA_HOME=/root/app/jdk1.7.0_80
修改yarn-env.sh
vi yarn-env.sh
修改jdk 配置
export JAVA_HOME=/root/app/jdk1.7.0_80
修改核心配置文件 core-site.xml
vi core-site.xml
在configuration中增加如下參數
<property>
<name>fs.defaultFS</name>
<value>hdfs://MASTER:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop/tmp</value>//如果不存在會自動創建
</property>
修改hadoop底層存儲 hdfs-site.xml
vi hdfs-site.xml
在configuration中增加如下參數
<property>
<name>dfs.namenode.name.dir</name>
<value>file://usr/local/hadoop/hdfs/name</value>//源數據
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file://usr/local/hadoop/hdfs/data</value>//datanode物理存儲位置
</property>
<property>
<name>dfs.replication</name>//副本數
<value>1</value>//hadoop 默認副本數是3 javaApi 調用此設置不起作用
</property>
修改mapred-site.xml
cp mapred-site.xml.template mapred-site.xml
vi mapred-site.xml
在configuration中增加如下參數--指定mr要使用的框架 這裏用yarn
<property>
<name>mapreduce.framwork.name</name>
<value>yarn</value>
</property>
修改yarn-site.xml
vi yarn-site.xml
在configuration中增加如下參數
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
5,格式化namenode --只需格式化一次 修改配置需要再次格式化
./hdfs namenode -format
// hadoop fs namenode -format
啓動
./start-all.sh
chomd +x ./*.sh 增加腳本執行權限
6,查看
jps //一下節點
dataNode
ResourceManager
NameNode
NadeManager
SecondaryNameNode
http://192.168.149.183:50070 //hadoop
http://192.168.149.183:8088 //yarn
注意防火牆
查看狀態
firewall-cmd --state --running
關閉防火牆
systemctl stop firewalld.service
