上篇博客中,我們搭建了單機版和僞分佈式版的hadoop。但是在真正的開發中都是用的完全分佈式hadoop環境。
因此今天我們就來搭建一下完全分佈式hadoop環境。
前提:有四臺解壓了hadoop和javajdk,且其中一臺作爲namenode需要已經搭建成了僞分佈式,其他三臺作爲datanode,所以這三臺還不需要配置環境
完全分佈式hadoop
在xshell中右擊,最下方有個“發送鍵輸入到所有會話”,點擊後可以在一臺輸入時,當前所有會話都有反應了。
然後開始編輯:
在datanode中
1.vim /etc/profile 將hadoop和java環境配置一下
在namenode中
2.vim slaves 設置三個datanode的ip
3.vim /etc/hosts
4.將這些文件傳到datanode上
使用
scp -r 要傳輸的內容目錄 要穿到的電腦的用戶名@要穿到的電腦的ip:要穿到的電腦的位置目錄
將三臺都穿好
然後ssh-keygen 生成密鑰 直接四個空格
然後 將三個 配置好,這樣就可以免密登錄了ssh-copy-id datanode的用戶名@datanode的ip
和cat id_rsa.pub >> ~/.ssh/authorized_keys 配置namenode的免密
最後在namenode上
使用start-all.sh啓動
這時使用jps查看namenode和三個datanode
在namenode中的顯示
在datanode中的顯示
那麼這時你的完全分佈式就搭建完成啦