hadoop從裸機到完全分佈的安裝（ctrl + alt是讓鼠標出來）
1、vmware安裝省略
2、ubuntu安裝省略
3、安裝好ubuntu後修改root用戶的密碼。即執行sudo passwd輸入新的密碼
4、建文件夾即mkdir ,修改它的權限的話用chmod 777 或者用chmod rxw也可以(rwx值的是讀寫和執行權，想改那個權限的話就用chmod oug + 它們)
5、touch a.txt是創建文本文件 。echo >> xxx 往裏面寫內容 。echo > xxx 新的內容把之前的內容覆蓋掉
6、切換在root的用戶下執行：nano sudoers 進到裏面。在root ALL=(ALL:ALL) ALL下面同樣增加一個ubuntu ALL=(ALL:ALL) ALL
7、想掛載文件的話選擇菜單欄的虛擬機----> 選擇設置 ----CD/DVD --進行掛載文件。掛載文件是在mnt的hgfs下面。要想存放這些掛載文件的話即在cd /mnt/下以sudo mkdir cdrom 創建cdrom文件、創建好後執行sudo mount /dev/cdrom /mnt/cdrom
8、cut-c N-M //切斷內容 -c:按照字符數計算 n-m 從第n個到第m個 。n-:n到行尾 -m:行首到第m個，n:第n個字符
9、改變軟件源成國內源即進入etc/apt下對sources.list備份後。nano sources.list把下面的軟件源複製進去 ：
deb http://mirrors.163.com/ubuntu/ precise main universe restricted multiverse
deb-src http://mirrors.163.com/ubuntu/ precise main universe restricted multiverse
deb http://mirrors.163.com/ubuntu/ precise-security universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ precise-security universe main multiverse restricted
deb http://mirrors.163.com/ubuntu/ precise-updates universe main multiverse restricted
deb http://mirrors.163.com/ubuntu/ precise-proposed universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ precise-proposed universe main multiverse restricted
deb http://mirrors.163.com/ubuntu/ precise-backports universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ precise-backports universe main multiverse restricted
deb-src http://mirrors.163.com/ubuntu/ precise-updates universe main multiverse restricted
-------------------------------------
自制軟件源也可以，這樣用的就是本地軟件源
1、備份原來的軟件源
cd /etc/apt
cp sources.list soures.lise,bak
2、沖掉sources.list文件
echo "" > sources.list
3、掛載iso文件到/mnt/cdrom
4、
--------------------------
10、執行apt-get update 進行升級，再執行apt-get upgrade
11、安裝桌面apt-get install desktop
12、桌面安裝好後就對他進行虛擬機增強。在虛擬機的菜單欄上選擇重新安裝虛擬機把vmwareools這個包複製到桌面，把它解壓。ls有個Desktop ,cd進入Desktop裏面有個vmware-tools-distrib。再cd進入vmware-tools-distrib裏面有個綠色的vmware-install.pl。然後執行sudo ./vmware-install.pl
13、在usr/local下面建一個soft,把所有安裝的軟件都放在這裏面
14、進入你掛載的目錄中去找你要安裝的軟件即執行cd/mnt/hgfs/downloads。把你安裝的軟件拷貝到ubuntu所建的文件夾下對它進行解壓，解壓後將它移到soft文件夾中也就是存放所安裝的軟件的文件夾
15、在soft下給jdk做個鏈接即執行ln -s jdk1.8.0_65 jdk
16、配置環境變量：
1、在soft的目錄編輯 sudo gedit /etc/environment配置：JAVA_HOME=/soft/jdk
PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:soft/jdk/bin"。
2、讓它生效執行 source etc/environment
17、安裝hadoop也是和jdk安裝一樣，同樣給它做鏈接，同樣給它環境變量。切換在root的用戶nano /etc/enviromnt給它配置環境變量即/soft/hadoop/bin:/soft/hadoop/sbin
18、安裝ssh 即執行sudo apt-get install ssh 再給它配祕鑰即執行ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa。再把祕鑰發到對方的認證庫中即執行cat id_rsa.pub >> authorized_keys 。然後測試一下看看還需不需要祕鑰登錄執行ssh localhost
19、進入/soft/hadoop/etc/hadoop/目錄下執行：
接下來就開始配置文件：
1、進入hadoop安裝目錄：cd /soft/hadoop/etc/hadoop/ 。執行gedit core-site.xml 把
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost/<value>
</property>
</configuration>複製進去
2、再進入gedit hafs-site.xml 把
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>複製進來
3、由於沒有mapred-site.xml拷貝一份cp mapred-site.xml.template mapred-site.xml把
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
<property>複製進去
4、再進入gedit yarn-site.xml把
<property>
<name>yarn.resourcemanager.hostname</name>
<value>localhost</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>複製進去
5、查看配置好的文件：ls -al |grep site.xml
20、格式文件系統hdfs namenode -format
21、啓動和停止進程star.dfs.sh、start.yarn.sh和stop.all.sh
22、停止所有的進程stop.all.sh配置環境變量，在soft/hadoop/etc/目錄下執行mv hadoop hadoop_pseudo。接着就執行start-all.sh --config /soft/hadoop-2.7.1/etc/hadoop_pseudo。接着再執行：
export HADOOP_CONF_DIR=/soft/hadoop/etc/hadoop_pseudo/
23、soft/hadoop/etc/下再做一個hadoop_local即執行：cp -r hadoop_pseudo hadoop_local
24、進入soft/hadoop/etc/hadoop_local裏面執行nano core-site.xml裏面把裏面的腳本刪掉。同樣操作nano hdfs-site.xml，刪掉裏面的腳本 。再把mapred-site.xml刪掉。再進入yarn裏面也是同樣的操作
25、同樣在soft/hadoop/etc/目錄下做個鏈接ln -s hadoop_pseudo hadoop
26、把之前的環境變量刪掉soft/hadoop/etc/目錄下執行export HADOOP_CONF_DIR=，接着再執行echo $HADOOP_CONF_DIR
27、創建目錄，在分佈式文件系統上創建目錄啓動所有的進程在/soft/hadoop/etc$下執行： hadoop fs -ls / 看看有沒有路徑再執行hadoop fs -ls /user/。 hadoop fs -ls -R /可以遞歸顯示目錄。hadoop fs -mkdir -p /user/${USER}是創建目錄-p多級目錄
28、搭建完全分佈集羣
1、安裝java // 和僞分佈一樣
2、創建user
3、安裝hadoop
4、配置SSH
5、格式化
6、啓動進程 start-dfs.sh | start-yarn.sh
7、創建目錄
8、配置hadoop
29、在、etc/hosts下編輯各個虛擬機的ip映射，並且修改各個虛擬機的名字
30、在宿主機下的ssh的目錄下執行scp id_rsa.pub ubuntu@s2:/home/ubuntu/.ssh/。每個克隆的虛擬機都這樣執行一遍。操作完上面的步驟後逐一到各個虛擬機裏，在ssh目錄執行cat id_rsa.pub known_hosts
31、把克隆的虛擬機ssh下面的東西幹掉即執行：rm * 。再執行ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa。每臺虛擬機都執行這個一遍（這一步和上步一樣的，）
32、在第一臺虛擬機裏執行scp id_rsa.pub ubuntu@s2:~/.ssh/id_rsa.pub.s1。然後登陸到s2的虛擬機上，在s2虛擬機的ssh目錄下執行cat id_rsa.pub.s1 >> authorizd_keys
33、在第一臺的虛擬機上的soft/hadoop/etc目錄下執行cp -r hadoop_pseudo hadoop_cluster。進入 cd hadoop_cluster/裏面把core-site.xml裏面的內容改成
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://s1/</value>
</property>
</configuration>
進入hdfs-site.xml裏面把裏面的內容改成
<configuration>
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>
進入yarn-site.xml改成:
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>s1</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
進入slaves 把localhost刪掉。改成s2 、s3、s4
34、在s1虛擬機裏面拷貝一個cp -r hadoop——pesudo hadoop_cluster。在/soft/hadoop/etc$目錄下執行 scp -r hadoop_cluster ubuntu@s2:/soft/hadoop/etc/。每個克隆的虛擬機都執行一遍
35、再執行格式化： hdfs --config /soft/hadoop/etc/hadoop_cluster namenode -format
36、啓動進程：start-dfs.sh --config /soft/hadoop/etc/hadoop_cluster
完全分佈完成
-------------------------------------------------