阿里雲ECS服務器配置Hadoop僞分佈環境

1.首先就是選購阿里雲服務器,我選擇的是Ubuntu 18.04系統(再設置一堆用戶名之類的東西)

2.啓動遠程連接

sudo ufw disable 關閉防火牆

useradd -m hadoop 創建Hadoop用戶用於操作

 passwd hadoop 爲創建的Hadoop用戶指定密碼

修改Hadoop的權限:將Hadoop加進sudoers列表

%hadoop ALL=(ALL:ALL) ALL

sudo vi /etc/passwd 修改Hadoop的顯示情況(原來僅顯示$ 沒有bash)最後將/sh變爲/bash

su hadoop切換到hadoop

sudo vi /etc/hosts 建立主機名和ip地址的對應(在之後綴加) (填寫阿里雲私有ip地址)

這樣就使用主機名可以ping其他機器了

 配置SSH

su hadoop//切換回Hadoop 用戶

mkdir .ssh// hadoop目錄下新建.ssh 文件夾

 ssh-keygen -t rsa //創建公鑰 連按三次確認即可

 cd .ssh 進入.ssh文件夾

cat id_rsa.pub>>authorized_keys //將id_rsa.pub併入 authorized_keys之後

查看  authorized_keys 已經出現了hadoop006的公鑰

接下來 ssh localhost已經成功,輸入一次yes即可

給.ssh 設置權限

 

上傳jdk、hadoop文件到阿里雲,注意使用端口號22和 公網ip,最後跟服務器的路徑 ,該路徑必須存在!

 中途需要你輸入Hadoop 的登錄密碼

發送成功!

 現在需要解壓兩個文件 

tar -zxvf hadoop-2.6.0-x64.tar.gz  tar -zxvf jdk-8u11-linux-x64.tar.gz

解壓完成 出現兩個文件夾

創建軟鏈接 hadoop和jdk指向這兩個文件夾

ln -s hadoop-2.6.0 hadoop

ln -s jdk1.8.0_11 jdk

 記住Java的路徑 去配置環境變量bashrc

最後添加以下內容 第一行的jdk1.8.0_1最好改爲jdk

保存並退出後 source ~/.bashrc 

Java和hadoop就環境安裝好了 

 現在去hadoop 下面的etc/hadoop/ 修改hadoop-env.sh

將自己的Java地址寫上即可

 再修改core-site.xml,<configuration>內加上以下內容 根據自己的主機和路徑改

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop008:9000</value>
</property>

        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop/app/hadoop-2.6.0/data/tmp</value>
        </property>

現在啓動sbin/start-all.sh,正常運行

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章