hadoop學習(三)hadoop集羣從windows移植到linux中問題與技巧

       在開始講Map-Reduce數據分析之前,首先講解一下,這兩天遇到的問題,自己在這上面確實是耽誤了很多時間:希望爲自己或後來者提供經驗。

(一)昨天在集羣中測試,由於把集羣全部移植到linux下,解決了virtualbox虛擬機的問題。接下來出現的問題就是:集羣之間互聯的問題,四臺主機之間ssh互連。

       在 hadoop學習(一)hadoop-1.2.1僞分佈式配置及遇到的問題   談到集羣之間通過ssh免密碼連接。早前,我們利用小度wifi新建一個局域網,我們幾臺機器都連接到這個局域網,分節點配置的靜態IP,也是根據這個局域網的IP,設置字段。如:小度wifi分享出的局域網字段在192.168.123.* 字段,自己在每臺機器設置靜態IP的時候,也要設置這個字段。下面hosts文件就是我們四臺主機的IP。hosts用來主機各主機

       現在問題就來了:如果我們更換局域網,或者是不在本地測試,那麼怎麼共享局域網。其實這個問題,也是自一開始就困擾着我們。昨天同組人在別的wifi下,測試成功,解決方法:你目的是要幾臺分節點之間可以互連。每次更換網絡,只需要,更改host文件。更改在/etc目錄下的hosts文件。

hosts文件:

# The following lines are desirable for IPv6 capable hosts
::1     ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
192.168.123.10 cluster1
192.168.123.11 cluster2
192.168.123.12 cluster3
192.168.123.13 cluster4 
每次更換局域網,把每一天機器的ip,配置到hosts文件中,然後通過ssh測試機器之間是否可以連通。目的就是互通,只有互通hadoop主節點,在分配任務的時候纔是正常的。

scp :遠程拷貝文件及文件夾

1、拷貝本機/home/zhangzhen/input整個目錄至遠程主機192.168.123.13的/home/tom/目錄下

sudo scp  -r /home/zhangzhen/input  tom@192.168.123.13:/home/tom/

2、從遠程拷貝文件到本地

sudo scp -r [email protected]:/home/tom/authorized111_keys    /home/zhangzhen

tom :遠程主機名

192.168.123.13:遠程主機IP

:/home/tom/authorized111_keys :遠程要複製的文件

/home/zhangzhen :本機要複製到的路徑

過程中要輸入遠程主機的密碼。

scp 在配置ssh密鑰和複製一些文件用處太多。

3、利用scp,節點之間可以互相拷貝文件。如果要是遇到,權限限制的問題,就是你用sudo也是不能複製的,一般是指你要複製root權限的文件。這裏有個巧妙的方法,只是針對文件類的複製。你可以在創建一個文件,vi   zz,把內容複製進去,這樣在複製zz到遠程主機,然後做的是,mv zz younanme;

4、其次是更改文件的權限:一般是更改root權限的文件。sudo 就可以拷貝了。

sudo chown tom:tom 文件名


(二)在搭建集羣,配置文件中出現問題

1、重啓網絡服務:

  1. sudo service network-manager stop  
  2. sudo rm /var/lib/NetworkManager/NetworkManager.state  
  3. sudo service network-manager start  
2、虛擬機中重新啓動linux

     sudo init 6 

3、設置靜態IP的過程:
     靜態IP設置可以修改/etc/network/interface文件 

iface eth0 inet static
address 192.168.123.13
netmask 255.255.255.1
gateway 192.168.
broadcast 192.168 

4、配置DNS
一般是在:ping www.baidu.com
出來的結果:unknown host server ,連接不上外網;
sudo vi /etc/resove.config
nameserver  8888

5、xshell連接虛擬機:在xhell中實現簡單——文件上傳和下載,實現linux上方面的上傳和下載文件
安裝:sudo install apt-get lrzsz 

rz  選擇文件,上傳
sz  文件名稱,下載



繼續更新中..........................






Copyright©BUAA


發佈了29 篇原創文章 · 獲贊 10 · 訪問量 21萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章