僞分佈式配置手冊
linux環境配置、linux環境下hadoop環境配置、linux靜態ip設置
系統環境
- VMWare 10.0.1
- Mac
- CentOS7 64bit
- JDK7
- hadoop 2.6.5
一、Mac 下面修改VMnet8網關地址
- 進入文件夾
cd /Library/Preferences/VMware\ Fusion/vmnet8- 進入之後，打開nat.conf文件就可以查看到vmnet8的網關地址
# NAT gateway address
ip = 192.168.121.1
netmask = 255.255.255.0二、固定linux的IP地址
- 進入文件夾,編輯ifcfg-ens33文件
cd /etc/sysconfig/network-scripts
ls- 編輯ifcfg-ens33文件
vi ifcfg-ens33添加信息
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=none
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=ens33
UUID=b12ada89-a560-44ea-94cb-c01b0213dfde
DEVICE=ens33
BOOTPROTO=static
ONBOOT=yes
IPADDR=192.168.121.100
NETMASK=255.255.255.0
GATEWAY=192.168.121.1
DNS1=8.8.8.8配置好了之後，重啓網絡
systemctl restart network檢查是否能夠ping通。Mac終端裏面pingCentOS
ping 192.168.121.100如果能夠ping通，就可以在Mac中使用secureCRT了
三、給hadoop添加sudo
1、使用命令visudo
visudo2、添加
# 在 root 用戶之後添加（請根據實際情況賦予權限）
root ALL=(ALL) ALL
hadoop ALL=(ALL) ALL四、修改主機名以及建立對應關係
- 修改主機名
sudo hostnamectl set-hostname spark- 修改/etc/hosts,建立對應關係
sudo vi /etc/hosts添加
192.168.121.100 spark五、關閉防火牆
- 查看防火牆狀態。centos7中的防火牆指令和centos6不一樣了
firewall-cmd --state- 關閉防火牆
systemctl stop firewalld.service #停止firewall
systemctl disable firewalld.service #禁止firewall開機啓動六、安裝JDK
可以使用兩種方式來上傳JDK到CentOS中。
1. filezilla 直接把文件拖拽到CentOS中即可
2. 使用命令行的方式。
在secureCRT中按快捷鍵 shift+cmd+p 打開sftp。
put 源地址 目的地址
put /Users/Downloads/jdk-7u80-linux-x64.tar.gz /home/hadoop/以上兩種，上傳JDK到CentOS中都可以。
3. 配置JAVA_HOME
解壓JDK.
mkdir app
tar -zxvf jdk-7u80-linux-x64.tar.gz -C app/修改/etc/profile
sudo vi /etc/profile最後一行,添加
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_80
export PATH=$PATH:$JAVA_HOME/bin七、安裝Hadoop
- 上傳hadoop。使用命令行方式來上傳,shift+cmd+p
put /Users/Downloads/hadoop-2.6.5.tar.gz 不指定目的目錄，會上傳到用戶的主目錄。
2. 解壓
tar -zxvf hadoop-2.6.5.tar.gz -C app/- 配置HADOOP_HOME
修改/etc/profile
sudo vi /etc/profile最後一行，`新加`HADOOP_HOME這一行。修改(其實是添加)`PATH`
export HADOOP_HOME=/home/hadoop/app/hadoop-2.6.5
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin八、配置hadoop的幾個文件
- 配置 hadoop-env.sh
sudo vi hadoop-env.sh找到export JAVA_HOME=$(JAVA_HOME)修改爲
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_80- 配置core-site.xml。找到
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://spark:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.6.5/data/</value>
</property>
</configuration>- 配置hdfs-site.xml
<configuration>
<property>
<name>dfs.repulication</name>#副本
<value>1</value>#僞分佈式陪1，全分佈式一般爲3
</property>
</configuration> 到這裏hdfs是可以啓動了，但是爲了方便，一次性把其他文件也配置了
4. 配置mapred-site.xml.template
先修改名字
mv mapred-site.xml.template mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>- 配置yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>spark</value>
</property>
</configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>- 格式化，第一次配置格式化。
hadoop namenode -format如果格式化成功，大概在倒數10-20左右會看到一個
17/11/11 03:02:19 INFO common.Storage: Storage directory /home/hadoop/app/hadoop-2.6.5/data/dfs/name has been successfully formatted.- 啓動hdfs
start-dfs.sh第一次會提示你輸入yes或者no。yes的話以後每次啓動hdfs都會要求輸入密碼。no以後就不用輸入密碼。啓動之後輸入jps
jps看到
4715 SecondaryNameNode
4478 NameNode
4564 DataNode
4838 Jps啓動成功，配置正確。