部署hdfs
首先先去官網下載hadoop編譯完的tar包,可以去appche官網下載地址進行下載
但是我這裏建議還是去CDH下載下載地址,因爲這裏有打補丁,可以減少一些bug
版本的話我建議還是下載hadoop2.x版本的,因爲1.x現在沒人用了,3.x又太新有bug
然後我們下載的話要下載後面帶bin和直接帶tar.gz後綴的,不要選擇src.tar.gz的
現在我們就開始來部署了
首先我們先創建一個hadoop用戶useradd hadoop
然後我們切換su - hadoop
接着我們創建四個文件夾,爲了規範:mkdir app software data logs
接着我們用rz命令把下載好的hadoop的tar上傳到software文件夾cd software然後rz 上傳
上傳之後解壓tar -xzvf + tar包名稱 接着創建一個軟鏈接指向app文件夾ln -s 解壓完的名稱 + /home/hadoop/app
接着部署java,不會部署的請看我linux的文章,這裏不多講
接下來我們打開etc/hadoop/hadoop-env.sh 在裏面配置java環境變量,切記不是在根目錄的etc
然後我們再打開etc/hadoop/core-site.xml,在裏面配置
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
然後再打開etc/hadoop/hdfs-site.xml配置
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
接着我們要來設置免密碼登錄,輸入ssh-keygen 連續按下三次回車鍵,然後我們輸入ssh localhost date 這是免密登錄還沒設置成功,我們cd到家目錄,然後ll -a找到.ssh文件cd進去,然後我們會看見
-rw-------. 1 hadoop hadoop 1679 Jan 4 11:51 id_rsa
-rw-r--r--. 1 hadoop hadoop 398 Jan 4 11:51 id_rsa.pub
-rw-r--r--. 1 hadoop hadoop 1187 Jan 4 12:06 known_hosts
我們需要將公鑰文件追加給authorized_keys:cat id_rsa.pub >> authorized_keys,然後我們還需要做一步重要的事情,就是修改權限chmod 600 authorized_keys,現在我們的免密登錄就可以了
然後現在有很多小夥伴又會遇到一個問題就是ssh localhost可以登錄,但用機器名稱登錄不了,這是我們就要切換到root用戶進行配置
su - root
vi /etc/hosts
在裏面加上你的ip地址後面跟上你的主機名,這時切換回hadoop用戶就可以用機器名進行免密登錄了
然後現在我們要格式化hdfs(在hadoop下的app下的hadoop目錄進行操作):bin/hdfs namenode -format
然後啓動節點sbin/start-dfs.sh,啓動完成後如果我們輸入jps看到有四個節點就是正常的
[hadoop@hadoop002 hadoop]$ jps
8869 SecondaryNameNode
8984 Jps
8698 DataNode
8570 NameNode
[hadoop@hadoop002 hadoop]$
那很多小夥伴有的會缺這個節點缺那個節點,這時我們也不要害怕,可能是你配置的有問題,但還是有解決辦法的,我們先輸入cd回到家目錄,然後輸入ll -a 查看所有文件,我們會看到一個logs文件夾,cd進去cd logs,我們會看到有很多節點的日誌,你哪個節點沒開啓就cat查看那個日誌的error,然後一般你就知道怎麼解決了,不會看英文就到網易詞典翻譯,這裏不說太多了,最後我們要關閉節點就是sbin/stop-dfs.sh
