1.軟件版本
| 軟件 | 版本 |
|---|---|
| vmware | 12 |
| centos | 6.1 |
| jdk | 1.8.0_191_64bit |
| hadoop | 2.7.4 |
1.1.虛擬機安裝
虛擬機主要是搞清楚網絡配置。
2.linux配置
linux相關配置主要有3類：
- 名稱與IP映射
- ssh免密碼登錄
- 關閉防火牆
1）查看ip信息
#ifconfig
2）修改網絡配置文件，ip獲取方式靜態
vim /etc/sysconfig/network-scripts/ifcfg-eth0
linux裏的bootproto的none,static,dhcp有什麼區別：static靜態ip、dhcp動態ip。
3）重啓網絡服務
service network restart
4）修改主機名
vim /etc/sysconfig/network
修改會話級別的主機名
# hostname master
1）hosts映射，驗證可否ping通
#vim /etc/hosts
2）ssh免密碼登陸
原理：
源主機A、目標主B，A希望免密碼登陸B。
A生成祕鑰對，把公鑰分發給B(接了我的公鑰，就允許我的訪問了；不要，可以不接)
B對A的公鑰進行授權訪問
原理：
1）授權訪問：通過B對A的公鑰的授權訪問，即允許A對B訪問了。
2）身份鑑別：怎麼保證是A在訪問呢？祕鑰。祕鑰是A自己掌握的。
3）登陸過程：
A發送公鑰到B
B鑑別A發送的公鑰與已掌握的公鑰是否一致(在訪問列表了)
一致，用A公鑰加密一段消息，返回給A
A用祕鑰解密，返回給B
B比較消息是否一致，一致，則認可A的身份
允許登陸
核心問題有2個：
1）授權訪問：通過把A的公鑰加入B的授權文件實現。
2）身份識別：通過A的祕鑰實現。
操作：3個節點分別生成公鑰、祕鑰；把公鑰加入到授權文件；節點分別對其他2個基點授權（可通過授權文件分發實現）
1）各節點生成公鑰祕鑰對
# ssh-keygen -t rsa
默認在~/.ssh下，生成2個文件id_rsa和id_rsa.pub
2）把公鑰集中到1個節點
# scp ~/.ssh/id_rsa.pub root@Nodeb:~/.ssh/
3）加入到授權列表,文本追加的形式
# cat id_rsa.pub>>~/.ssh/authorized_keys
4）分發訪問授權名單
5）注意：authorized_keys權限是600，只能屬主可以修改；否則，任意用戶惡意追加授權，門戶大開！
如果權限不對，authorized_keys文件是不起作用的。
3）防火牆、selinux
–查看se狀態
#sestatus
–永久關閉
# vi /etc/sysconfig/selinux
SELINUX=disabled
4）jdk
配置環境變量
# vim /etc/profile
export JAVA_HOME=
export PATH=PATH
export CLASS_PATH=.:JAVA_HOME/lib/tools.jar
# source /etc/profile
3.hdp
1）創建用戶
# adduser hadoop
# passwd hadoop
# usermod -a -G hadoop hadoop
# vim /etc/sudoers
2）安裝hdp軟件
1.解壓
2.環境變量
#vim /etc/profile
export HADOOP_HOME=
export PATH=HADOOP_HOME/bin:$HADOOP_HOME/sbin
3）修改配置文件：7個，4+2+1
4個：xml配置文件，同僞分佈式
2個：env，java環境變量
1個：slaves，節點清單，僞分佈式不需要，因爲只有1個節點。
4）分發hdp文件
5）格式化
6）啓動、檢查
問題
–nat網絡配置？虛擬機ip隨便設嗎？dns？
&：nat模式下，網絡有3個功能模塊：
1）vmware的網絡編輯器：可認爲是路由器。設置nat網絡的網段、網關
2）虛擬網卡：是宿主的網卡，用來接入nat網絡；故ip要在nat的網段、網關與nat的一致;
3）虛擬機網絡：要求同宿主的虛擬網卡一樣，ip要在nat網段、網關與nat的一致。
ps：虛擬機訪問internet，通過nat網絡路由器實現；所以，禁止虛擬網卡，不影響虛擬機訪問外網。
--子網？子網掩碼原理？
&：子網掩碼是連續1、0的32位的標識爲。前段是若干位連續的1，標識網段；後段是連續的0，表示子網容量。
eg：子網掩碼,255.255.255.0，切換成二進制爲11111111.11111111.11111111.00000000，後段0有8位，表示子網容量2^8=256;前段1有24位，則前ip地址的前24位是不同網段。eg：192.168.1.10,192.168.1.110根據子網掩碼計算，子網標記是192.168.1.0，是同一個子網的，可以相互直接訪問。
子網掩碼，255.255.255.192，切換成二進制爲11111111.11111111.11111111.11000000，後段0有6位，表示子網容量2^6=64；前段1有26位，則192.168.1.10（00001010）,192.168.1.100(1100100)，則不再是1個網段。
虛擬機怎麼複製？
--authentification、authorization
&：authentification:你是誰？
authorization：你可以做什麼？(author，創作者？創作者可以做什麼呢？或者說創作者已經完成了身份認證了)