Hadoop學習平臺的搭建 與pyspark平臺的安裝

#僞分佈式
##1.安裝虛擬機
##2.安裝CentOS6.4-i386
##3.修改主機名

		# su root
		# vi /etc/sysconfig/network
		本主機名設置爲：vitamin07

##4.修改ip
設置虛擬機的網絡連接方式–參考文檔：《虛擬機配置》來實現
1)Hostonly，將windos上的虛擬網卡改成與linux上的網卡在同一網段，將虛擬機上的Vmnet1 ip設置和你的虛擬機在同一個網段 ，但ip不相同。
###4.1非克隆機,將以下內容更新到ifcfg-eth0中

# vi /etc/sysconfig/network-scripts/ifcfg-eth0 
		BOOTPROTO="static"
		......
		IPADDR="192.168.8.201"
		NETMASK="255.255.255.0"
		GATWAY="192.168.8.1"
		DNS1="8.8.8.8"
		DNS2="8.8.4.4"  

###4.2克隆機

So here’s how we fix it:
	Remove the kernel’s networking interface rules file so that it can be regenerated
 
		# rm -f /etc/udev/rules.d/70-persistent-net.rules

	Restart the VM

		# reboot

	UPDATE your interface configuration file

		# more  /etc/udev/rules.d/70-persistent-net.rules
		# vi /etc/sysconfig/network-scripts/ifcfg-eth0 
	Remove the MACADDR entry or update it to the new MACADDR for the interface (listed in this file: /etc/udev/rules.d/70-persistent-net.rules).
	Remove the UUID entry 
	Uapdate IPADDR="192.168.8.xxx"--新地址 
	Save and exit the file

	Restart the networking service
 
	# service network restart

##5.修改主機名和ip映射關係
# vi /etc/hosts
##6.關閉防火牆–參考文檔：《虛擬機配置》
查看防火牆狀態
# service iptables status
命令關閉防火牆(重新啓動虛擬機後防火牆依然是開着的)
# service iptables stop
查看在哪種狀態下 防火牆會是開的 還是關的
# chkconfig iptables --list
啓動方式：
0—關機 6–不停重啓
1—單用戶模式
2–多用戶模式但沒有NFS
3–多用戶模式
4—沒有使用的
5—圖形界面模式
關閉防火牆：
# chkconfig iptables off
查看防火牆狀態
# chkconfig iptables --list
##7.ssh免登錄–參考文檔：《設置ssh免密碼登錄》，其中有講免密碼登錄的原理
生成一對密碼
注： 若是克隆機則需要把.ssh/目錄下的文件刪除
root用戶在 /.ssh下
非root用戶 /home/model/.ssh/下

		# sudo apt-get install openssh-server
		#rm authorized_keys  id_rsa id_rsa.pub known_hosts 
		# ssh-keygen -t rsa
		   四個回車後
		# cd /root/.ssh		or	# cd /home/model/.ssh/
		# ls
		# cp id_rsa.pub authorized_keys

##8.安裝jdk1.7–參考文檔：《安裝JDK》
###8.1官網獲取jdk1.7
官網獲取jdk1.7
官網
###8.2解壓jdk安裝包

# mkdir /usr/local/java
# mkdir /usr/local/java/jdk
# tar -zxvf jdk安裝包 -C /usr/local/java/jdk/

###8.3添加環境變量,在profile中添加以下內容

# vi /etc/profile
		export JAVA_HOME=/usr/local/java/jdk/jdk1.7
		export PATH=$PATH:$JAVA_HOME/bin
		export JAVA_HOME=/usr/lib/jvm/jdk1.7  
		export JRE_HOME=${JAVA_HOME}/jre   
		export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   
		export PATH=${JAVA_HOME}/bin:$PATH 
		export JAVA_HOME=/home/vitamin/software/jdk1.7.0_79 
		export JRE_HOME=${JAVA_HOME}/jre   
		export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   
		export PATH=${JAVA_HOME}/bin:$PATH 

###8.4刷新配置
# source /etc/profile
##9.安裝hadoop-2.2.0
###9.1下載和解壓hadoop(注意hadoop版本要和jdk匹配)
下載鏈接
新建文件夾：
# mkdir /bigdata
解壓文件夾：
# tar -zxvf hadoop安裝包 -C /bigdata/
***若解壓後的文件所屬用戶不是root，則要進行以下步驟–參考網址： 網址
遞歸修改一個目錄及其目錄下所有文件的所有者：

		# chown -R 用戶名 文件目錄名
		# chgrp -R 用戶名 文件目錄名

***hadoop2.2.0目錄說明：
	    hadoop-2.2.0/bin      可執行的腳本
			/include  存放本地庫的頭文件
			/sbin     啓動 停止相關的文件
			/etc      hadoop配置文件
			/lib      本地的一些庫
			/share    依賴的java
			/share /hadoop/
			      /hdfs
			      /yarn

###9.2搭建僞分佈式，修改目錄(/bigdata/hadoop-2.2.0/etc/hadoop)下的配置文件–注意：主機名的修改，本文檔中vitamin07要改爲自己的主機名或者localhost
####1）修改環境變量,在hadoop-env.sh添加以下內容
# cd /bigdata/hadoop-2.2.0/etc/hadoop
# vi hadoop-env.sh
找到 export JAVA_HOME=…那行 更新爲：
export JAVA_HOME=/usr/local/java/jdk/jdk1.7
保存退出。
####2)修改 core-site.xml # vi core-site.xml

<configuration>
		<!--指定hdfs的namenode地址-->
			<property>
				<name>fs.defaultFS</name> 
				<value>hdfs://vitamin07:9000</value>
				<description>the adress of namenode</description>
			</property>
		<!--指定hadoop運行時產生文件的存放目錄(linux上具體某個目錄)-->
			<property>
				<name>hadoop.tmp.dir</name>
				<value>/bigdata/hadoop-2.2.0/tmp</value>
				<description>the filespace where the producing file will be store </description>
			</property>
	</configuration>

####3)修改 hdfs-site.xml # vi hdfs-site.xml

<configuration>
		<!--指定hdfs的存儲文件的副本數-->
		<property>
			<name>dfs.replication</name> 
			<value>1</value>
			<description></description>
		</property>
	</configuration>

####4)修改 mapred-site.xml.example 爲:mapred-site.xml # mv mapred-site.xml.template mapred-site.xml

   # vi mapred-site.xml
	<configuration>
		<!--設置hadoop的MapReduce運行在yarn上 -->
		<property>
			<name>mapreduce.framework.name</name> 
			<value>yarn</value>
			<description>mapreduce will run in yarn</description>
		</property>
	</configuration>

####5)修改 yarn-site.xml # vi yarn-site.xml

<configuration>
		<!-- 指定nameManager獲取數據的方式是shuflle方式 -->
		<property>
			<name>yarn.nodemanager.aux-services</name> 
			<value>mapreduce_shuffle</value>
			<description></description>
		</property>
		<!-- 指定yarn的管着者resourceManager的地址 -->
		<property>
			<name>yarn.resourcemanager.hostname</name>
			<value>vitamin07</value>
			<description></description>
		</property>
	</configuration>	

####6)添加hadoop環境變量,在profile中更新以下內容

	# vi /etc/profile
			 export JAVA_HOME=/usr/local/java/jdk目錄
			 export HADOOP_HOME=/bigdata/hadoop-2.2.0
			 export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
	# source   /etc/profile

####7)格式化文件系統
# Hdfs namenode -format 格式化文件系統
####8）啓動hdfs和yarn
sbin目錄下：
# ./start-dfs.sh
# ./start-yarn.sh
###9.2測試hdfs
首先向hdfs上傳一個文件

	# hadoop fs -put /etc/profile /profile
	# hadoop fs -ls /

###9.3測試MapReduce

	# hadoop jar /bigdata/hadoop-2.2.0/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /profile /out

#多節點集羣
hadoop2.0已經發布了穩定版本了，增加了很多特性，比如HDFS HA、YARN等。

/本次所用軟件爲：hadoop-2.2.0、CentOS6.4-i386、zookeeper-3.4.5、jdk-7u79-linux-i586*******/

注意：apache提供的hadoop-2.2.0的安裝包是在32位操作系統編譯的，因爲hadoop依賴一些C++的本地庫，
所以如果在64位的操作上安裝hadoop-2.2.0就需要重新在64操作系統上重新編譯

##1.修改Linux主機名
##2.修改IP
##3.修改主機名和IP的映射關係
######注意######如果你們公司是租用的服務器或是使用的雲主機（如華爲用主機、阿里雲主機等）
/etc/hosts裏面要配置的是內網IP地址和主機名的映射關係
##4.關閉防火牆
##5.ssh免登陸 (可先不做此步)
##6.安裝JDK，配置環境變量等

集羣規劃：
主機名 IP 安裝的軟件 運行的進程
vitamin01 192.168.1.201 jdk、hadoop NameNode、DFSZKFailoverController
vitamin02 192.168.1.202 jdk、hadoop NameNode、DFSZKFailoverController
vitamin03 192.168.1.203 jdk、hadoop ResourceManager
vitamin04 192.168.1.204 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
vitamin05 192.168.1.205 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain
vitamin06 192.168.1.206 jdk、hadoop、zookeeper DataNode、NodeManager、JournalNode、QuorumPeerMain

說明：
在hadoop2.0中通常由兩個NameNode組成，一個處於active狀態，另一個處於standby狀態。Active NameNode對外提供服務，而Standby NameNode則不對外提供服務，僅同步active namenode的狀態，以便能夠在它失敗時快速進行切換。
hadoop2.0官方提供了兩種HDFS HA的解決方案，一種是NFS，另一種是QJM。這裏我們使用簡單的QJM。在該方案中，主備NameNode之間通過一組JournalNode同步元數據信息，一條數據只要成功寫入多數JournalNode即認爲寫入成功。通常配置奇數個JournalNode
這裏還配置了一個zookeeper集羣，用於ZKFC（DFSZKFailoverController）故障轉移，當Active NameNode掛掉了，會自動切換Standby NameNode爲standby狀態

##7.集羣安裝步驟：
###1.安裝配置zooekeeper集羣
####1.1解壓
mkdir /bigdata
tar -zxvf zookeeper-3.4.5.tar.gz -C /bigdata/
####1.2修改配置
cd /bigdata/zookeeper-3.4.5/conf/
cp zoo_sample.cfg zoo.cfg
vim zoo.cfg
***修改：dataDir=/bigdata/zookeeper-3.4.5/tmp
在最後添加：
server.1=vitamin04:2888:3888
server.2=vitamin05:2888:3888
server.3=vitamin06:2888:3888
保存退出
然後創建一個tmp文件夾
mkdir /bigdata/zookeeper-3.4.5/tmp
再創建一個空文件
touch /bigdata/zookeeper-3.4.5/tmp/myid
最後向該文件寫入ID
echo 1 > /bigdata/zookeeper-3.4.5/tmp/myid
####1.3將配置好的zookeeper拷貝到其他節點(首先分別在vitamin05、vitamin06根目錄下創建一個bigdata目錄：mkdir /bigdata)
scp -r /bigdata/zookeeper-3.4.5/ vitamin05:/bigdata/
scp -r /bigdata/zookeeper-3.4.5/ vitamin06:/bigdata/

		注意：修改vitamin05、vitamin06對應/bigdata/zookeeper-3.4.5/tmp/myid內容
		vitamin05：
			echo 2 > /bigdata/zookeeper-3.4.5/tmp/myid
		vitamin06：
			echo 3 > /bigdata/zookeeper-3.4.5/tmp/myid

###2.安裝配置hadoop集羣
####2.1解壓
mkdir /bigdata
tar -zxvf hadoop-2.2.0.tar.gz -C /bigdata/
####2.2配置HDFS（hadoop2.0所有的配置文件都在KaTeX parse error: Expected 'EOF', got '#' at position 31: …/hadoop目錄下） #̲將hadoop添加到環境變量中…PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

		#hadoop2.0的配置文件全部在$HADOOP_HOME/etc/hadoop下
		cd /bigdata/hadoop-2.2.0/etc/hadoop

#####2.2.1修改hadood-env.sh # vi hadoop-env.sh

			export JAVA_HOME=/usr/local/java/jdk/jdk1.7

#####2.2.2修改core-site.xml # vi core-site.xml



fs.defaultFS
hdfs://ns1



hadoop.tmp.dir
/bigdata/hadoop-2.2.0/tmp



ha.zookeeper.quorum
vitamin04:2181,vitamin05:2181,vitamin06:2181

#####2.2.3修改hdfs-site.xml # vi hdfs-site.xml



dfs.nameservices
ns1



dfs.ha.namenodes.ns1
nn1,nn2



dfs.namenode.rpc-address.ns1.nn1
vitamin01:9000



dfs.namenode.http-address.ns1.nn1
vitamin01:50070



dfs.namenode.rpc-address.ns1.nn2
vitamin02:9000



dfs.namenode.http-address.ns1.nn2
vitamin02:50070



dfs.namenode.shared.edits.dir
qjournal://vitamin04:8485;vitamin05:8485;vitamin06:8485/ns1



dfs.journalnode.edits.dir
/bigdata/hadoop-2.2.0/journal



dfs.ha.automatic-failover.enabled
true



dfs.client.failover.proxy.provider.ns1
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider



dfs.ha.fencing.methods

sshfence
shell(/bin/true)




dfs.ha.fencing.ssh.private-key-files
/root/.ssh/id_rsa



dfs.ha.fencing.ssh.connect-timeout
30000

#####2.2.4修改mapred-site.xml # cp mapred-site.xml.template mapred-site.xml # vi mapred-site.xml



mapreduce.framework.name
yarn

#####2.2.5修改yarn-site.xml # vi yarn-site.xml



yarn.resourcemanager.hostname
vitamin03



yarn.nodemanager.aux-services
mapreduce_shuffle

#####2.2.6修改slaves(slaves是指定子節點的位置，因爲要在vitamin01上啓動HDFS、在vitamin03啓動yarn，所以vitamin01上的slaves文件指定的是datanode的位置，vitamin03上的slaves文件指定的是nodemanager的位置)
# cd /bigdata/hadoop-2.2.0/etc/hadoop
vitamin04
vitamin05
vitamin06

#####2.2.7配置免密碼登陸
#首先要配置vitamin01到vitamin02、vitamin03、vitamin04、vitamin05、vitamin06的免密碼登陸
#在vitamin01上生產一對鑰匙
ssh-keygen -t rsa
#將公鑰拷貝到其他節點，包括自己
ssh-coyp-id vitamin01 # /usr/bin/ssh-copy-id -i ~/.ssh/id_rsa.pub root@vitamin01
ssh-coyp-id vitamin02 # /usr/bin/ssh-copy-id -i ~/.ssh/id_rsa.pub root@vitamin02
ssh-coyp-id vitamin03 # /usr/bin/ssh-copy-id -i ~/.ssh/id_rsa.pub root@vitamin03
ssh-coyp-id vitamin04 # /usr/bin/ssh-copy-id -i ~/.ssh/id_rsa.pub root@vitamin04
ssh-coyp-id vitamin05 # /usr/bin/ssh-copy-id -i ~/.ssh/id_rsa.pub root@vitamin05
ssh-coyp-id vitamin06 # /usr/bin/ssh-copy-id -i ~/.ssh/id_rsa.pub root@vitamin06

			非root用戶 ssh-coyp-id vitamin12	# /usr/bin/ssh-copy-id -i ~/.ssh/id_rsa.pub  model@vitamin12
			
			#配置vitamin03到vitamin04、vitamin05、vitamin06的免密碼登陸
			#在vitamin03上生產一對鑰匙
			ssh-keygen -t rsa
			#將公鑰拷貝到其他節點  
			ssh-coyp-id vitamin03  # /usr/bin/ssh-copy-id -i ~/.ssh/id_rsa.pub  root@vitamin03
			ssh-coyp-id vitamin04  # /usr/bin/ssh-copy-id -i ~/.ssh/id_rsa.pub  root@vitamin04
			ssh-coyp-id vitamin05  # /usr/bin/ssh-copy-id -i ~/.ssh/id_rsa.pub  root@vitamin05
			ssh-coyp-id vitamin06  # /usr/bin/ssh-copy-id -i ~/.ssh/id_rsa.pub  root@vitamin06
			
			#注意：兩個namenode之間要配置ssh免密碼登陸，別忘了配置vitamin02到vitamin01的免登陸
			在vitamin02上生產一對鑰匙
			ssh-keygen -t rsa
			ssh-coyp-id -i vitamin01   # /usr/bin/ssh-copy-id -i ~/.ssh/id_rsa.pub  root@vitamin01				

####2.4將配置好的hadoop拷貝到其他節點
scp -r /bigdata/ vitamin02:/
scp -r /bigdata/ vitamin03:/
scp -r /bigdata/hadoop-2.2.0/ root@vitamin04:/bigdata/
scp -r /bigdata/hadoop-2.2.0/ root@vitamin05:/bigdata/
scp -r /bigdata/hadoop-2.2.0/ root@vitamin06:/bigdata/

	###注意：嚴格按照下面的步驟

####2.5啓動zookeeper集羣（分別在vitamin04、vitamin05、vitamin06上啓動zk）
cd /bigdata/zookeeper-3.4.5/bin/
./zkServer.sh start
#查看狀態：一個leader，兩個follower
./zkServer.sh status

####2.6啓動journalnode（在vitamin01上啓動所有journalnode，注意：是調用的hadoop-daemons.sh這個腳本，注意是複數s的那個腳本）
cd /bigdata/hadoop-2.2.0
sbin/hadoop-daemons.sh start journalnode
#運行jps命令檢驗，vitamin04、vitamin05、vitamin06上多了JournalNode進程

####2.7格式化HDFS
#在vitamin01上執行命令:
hdfs namenode -format
#格式化後會在根據core-site.xml中的hadoop.tmp.dir配置生成個文件，這裏我配置的是/bigdata/hadoop-2.2.0/tmp，然後將/bigdata/hadoop-2.2.0/tmp拷貝到vitamin02的/bigdata/hadoop-2.2.0/下。
scp -r tmp/ vitamin02:/bigdata/hadoop-2.2.0/

####2.8格式化ZK(在vitamin01上執行即可)
hdfs zkfc -formatZK

####2.9啓動HDFS(在vitamin01上執行)
sbin/start-dfs.sh

####2.10啓動YARN(#####注意#####：是在vitamin03上執行start-yarn.sh，把namenode和resourcemanager分開是因爲性能問題，因爲他們都要佔用大量資源，所以把他們分開了，他們分開了就要分別在不同的機器上啓動)
sbin/start-yarn.sh

到此，hadoop2.2.0配置完畢，可以統計瀏覽器訪問:
	http://192.168.8.201:50070
	NameNode 'vitamin01:9000' (active)
	http://192.168.8.202:50070
	NameNode 'vitamin02:9000' (standby)

驗證HDFS HA
	首先向hdfs上傳一個文件
	hadoop fs -put /etc/profile /profile
	hadoop fs -ls /
	然後再kill掉active的NameNode
	kill -9 <pid of NN>
	通過瀏覽器訪問：http://192.168.8.202:50070
	NameNode 'vitamin02:9000' (active)
	這個時候vitamin02上的NameNode變成了active
	在執行命令：
	hadoop fs -ls /
	-rw-r--r--   3 root supergroup       1926 2014-02-06 15:36 /profile
	剛纔上傳的文件依然存在！！！
	手動啓動那個掛掉的NameNode
	sbin/hadoop-daemon.sh start namenode
	通過瀏覽器訪問：http://192.168.8.201:50070
	NameNode 'vitamin01:9000' (standby)

驗證YARN：
	運行一下hadoop提供的demo中的WordCount程序：
	hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /profile /out

OK，大功告成！！！


Secondary NameNode

spark學習平臺的搭建：

win10系統；
參考：
安裝步驟
異常處理