1.首先就是選購阿里雲服務器,我選擇的是Ubuntu 18.04系統(再設置一堆用戶名之類的東西)
2.啓動遠程連接
sudo ufw disable 關閉防火牆
useradd -m hadoop 創建Hadoop用戶用於操作
passwd hadoop 爲創建的Hadoop用戶指定密碼
修改Hadoop的權限:將Hadoop加進sudoers列表
%hadoop ALL=(ALL:ALL) ALL
sudo vi /etc/passwd 修改Hadoop的顯示情況(原來僅顯示$ 沒有bash)最後將/sh變爲/bash
su hadoop切換到hadoop
sudo vi /etc/hosts 建立主機名和ip地址的對應(在之後綴加) (填寫阿里雲私有ip地址)
這樣就使用主機名可以ping其他機器了
配置SSH
su hadoop//切換回Hadoop 用戶
mkdir .ssh// hadoop目錄下新建.ssh 文件夾
ssh-keygen -t rsa //創建公鑰 連按三次確認即可
cd .ssh 進入.ssh文件夾
cat id_rsa.pub>>authorized_keys //將id_rsa.pub併入 authorized_keys之後
查看 authorized_keys 已經出現了hadoop006的公鑰
接下來 ssh localhost已經成功,輸入一次yes即可
給.ssh 設置權限
上傳jdk、hadoop文件到阿里雲,注意使用端口號22和 公網ip,最後跟服務器的路徑 ,該路徑必須存在!
中途需要你輸入Hadoop 的登錄密碼
發送成功!
現在需要解壓兩個文件
tar -zxvf hadoop-2.6.0-x64.tar.gz tar -zxvf jdk-8u11-linux-x64.tar.gz
解壓完成 出現兩個文件夾
創建軟鏈接 hadoop和jdk指向這兩個文件夾
ln -s hadoop-2.6.0 hadoop
ln -s jdk1.8.0_11 jdk
記住Java的路徑 去配置環境變量bashrc
最後添加以下內容 第一行的jdk1.8.0_1最好改爲jdk
保存並退出後 source ~/.bashrc
Java和hadoop就環境安裝好了
現在去hadoop 下面的etc/hadoop/ 修改hadoop-env.sh
將自己的Java地址寫上即可
再修改core-site.xml,<configuration>內加上以下內容 根據自己的主機和路徑改
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop008:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/hadoop/app/hadoop-2.6.0/data/tmp</value>
</property>
現在啓動sbin/start-all.sh,正常運行