大數據 - 第六課 ： 驗證Hadoop集羣 & 安裝eclipse

先講廢話，這個課真的是起起落落落，倆個多小時的課（沒跟上一個半小時）好苦555痛並快樂着大概就是這樣吧
主要是pf老師還耐心分析錯誤就很感人（當然我也很感人，努力解決問題之後就很感動~）

開始正文：

1. 啓動集羣 檢查是否正常
   用命令：start-all.sh 啓動集羣 用jps檢查進程 按照我的配置，
   master節點 ：
   
   slave節點：
   
   如果要全面檢查，需要運行mapreduce的example程序。
   hadoop-2.7/share/hadoop/mapreduce下由example程序，運行方式：
   hadoop jar hadoop-mapreduce-examples-2.7.7.jar pi 10 10
   如顯示如下信息，說明運行正常。
   

2. hdfs命令
   上傳一個文件，用本地命令找到文件位置，理解hdfs文件存儲方式。
   上傳一個>black的文件，用本地命令找到多個文件的位置，然後重新組合，理解HDFS分塊的方式。

3. 從非集羣主機使用集羣的方法
   從非集羣主機訪問集羣，首先需要網絡暢通。還需要有命令解釋器，其次要知道集羣配置情況，最簡單的辦法就是從集羣中拷貝一個hadoop軟件包
   還需要一個同版本的java。
   一般情況下，java路徑與集羣中的不同，需要修改，修改
   vi hadoop-env.sh
   vi yarn-env.sh
   注意用戶名問題，如果與集羣用戶不同，需要改成相同的。

4. Mapreduce程序開發
   4.1下載eclipse, 解壓後啓動eclipse。