一、修改主機名和映射
1.切換root用戶,修改需要權限
2.修改主機名 vi /etc/hostname
保存退出
3.修改主機映射 vi /etc/hosts
保存退出
4.重啓
5.修改window下的映射
在桌面打開這個文件(記事本),輸入以下內容,記住一定輸入你配置的靜態ip,保存關閉
將桌面的文件拖到原來的文件夾中
選擇替換
以管理員繼續
完成
二、修改配置文件
1.重新連上linux
2.進入配置目錄
3.配置core-site.xml
在configuration添加以下內容 然後保存退出
<property>
<name>fs.defaultFS</name>
<value>hdfs://python8:9000</value>
</property>
4.配置hdfs-site.xml
在configuration添加以下內容 然後保存退出
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///home/hadoop/opt/tmp/dfs/name</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///home/hadoop/opt/tmp/dfs/data</value>
</property>
<property>
<name>dfs.namenode.http-address</name>
<value>python8:50070</value>
</property>
5.配置mapred-site.xml
查看當前目錄會發現沒有mapred-site.xml文件,只有一個mapred-site-xml.template的文件,我們複製一份命名爲mapred-site.xml
命令:cp mapred-site.xml.template mapred-site.xml
在configuration添加以下內容然後保存
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
6.配置yarn-site.xml
然後在configuration添加以下內容然後保存提出
<property>
<name>yarn.resourcemanager.hostname</name>
<value>python8</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
7.修改slaves
配置datanode的主機名稱爲python8
三、關閉防火牆和selinux
切換到root用戶
關閉防火牆
臨時關閉:systemctl stop firewlld
永久關閉:systemctl disable firewalld
查看狀態:systemctl ststus firewalld
關閉selinux
臨時關閉 seteforce 0
永久關閉 vi /etc/selinux/config
修改SELINUX=disabled
getenforce:查看狀態
切換到root用戶 關閉防火牆
關閉selinux
重啓機器reboot
重新連接登錄hadoop
查看防火牆和selinux狀態
四、執行hdfs文件系統格式化:hdfs namenode -format
五、設置ssh無密碼登錄
輸入:ssh-keygen -t rsa 一直按回車
ssh-copy-id 你想登錄到的計算機名輸入hadoop密碼
六 啓動服務 start-dfs.sh(如果沒有配置ssh無密碼登錄,那麼這裏會一直輸入密碼)
在這裏我輸入時遇到了報錯start-dfs.sh:未找到命令
解決辦法:
start-dfs的文件.sh存在於${HADOOP-HOME}/bin?如果沒有，請嘗試運行通用sbin/start-dfs.sh。
輸入命令:sbin/start-dfs.sh 即可
查看啓動的服務jps
start-yarn.sh及jps
七 瀏覽服務器訪問,輸入python8:50070
成功顯示
八、文件上傳
1.創建一個目錄 hadoop fs -mkdir -p/user/hadoop
2.文件上傳
新建一個文件
寫入內容
保存退出
上傳
查看
七、Anaconda的安裝
1.上傳
2.安裝前需要安裝bzip2
(1)需要root用戶,切換用戶
(2)yum -y install bzip2安裝bzip2
命令:yum -y install bzip2
(3)退出root用戶
3.安裝Anaconda bash Anaconda3-5.0.1-Linux-x86_64.sh
(1)
(2)
(3)
(4)
(5)等待
(6)完成
4.更新變量環境
5.查看jupter地址jupyter-notebook --ip python8
進入網址後按ctrl+c退出
複製網址
注意:此處需要注意當你重啓虛擬機分別啓動所需要的6項服務後,然後輸入jupyter-notebook --ip命令後會顯示不出網址報錯
是因爲權限的問題,
解決辦法:重啓虛擬機直接用hadoop登錄切勿用root登錄,雖然我也不知道是什麼權限問題但是報錯沒有問題解決了
6.進瀏覽器,輸入你複製的網址
八、 sopark的安裝
1.上傳
2.解壓縮到opt目錄
命令 tar -xzf spark-2.2.1-bin-hadoop2.7tgz -C opt
3.配置環境變量
加入:export SPARK_HOME=/home/hadoop/opt/spark-2.2.1-bin-hadoop2.7
export PATH=$PATH:SPARK_HOME/bin:$SPARK_HOME/sbin
4.更新變量環境
5.測試是否成功
