安裝hadoop－新手安裝篇

參考《在windows上安裝hadoop教程》

1.  安裝SDK  版本在1.6以上，推薦1.6.0_32 

注意： 安裝的時候JDK安裝的路徑不要含有空格及中文字符，否則出現莫名其妙的路徑找不到的問題，原因在於java對於空格和中文字符的處理。

 

2. 安裝cygwin

下載setup.exe後運行，選擇download site時 填http://www.cygwin.cn/pub， 千萬不要mirrors.163.com。前者包含很少量的包，只需選安裝幾個就行了（net->openssl, base->sed, dev->subversion等）；後者幾乎包含所有的包以及文檔，總數達3G以上）。

 

3. 配置環境變量

PATH： JDK的bin目錄， cygwin的bin目錄， cygwin的/usr/sbin等

JAVA_HOME 指向jre的目錄。

 

4. sshd服務

安裝：進入cygwin後，運行ssh-host-config選擇 NOT use priviledge separation。

啓動：在windows的管理工具－> 服務中啓動 cygwin sshd服務

配置：在cygwin下執行 ssh-key-gen， 將 ~/.ssh/id_rsa.pub 拷貝成authorized_keys.  ssh localhost 後用who查看，即可看到自己的windows用戶已經登錄了。

 

5. 安裝配置hadoop

下載：建議0.20以上版本

安裝：直接解壓縮即可，無需安裝

配置： 1>  hadoop-env.sh: 修改JAVA_HOME指向JDK在cygwin下的安裝目錄

              2> core-cite.xml: 修改fs.default.name爲hdfs:localhost:8888

              3> hdfs-site.xml

              4> mapred-site.xml: 修改mapred.job.tracker爲localhost:9999

啓動：1>進入hadoop的bin目錄， ./start-all.sh.  

             2>./hadoop namenode -format 格式化hdfs (然後還需手工去tmp/hadoop-${user}/dfs把name文件夾的操作屬性添加全，否則後面因權限問題訪問不了）。　

             3>./hadoop fs -ls /  查看根目錄。