hadoop起步之環境安裝2

平臺:window7

由於環境安裝1 中介紹的cygwin安裝遇到很多坑,所以更換了方案,使用虛擬機來配置hadoop,簡單描述下流程

1、使用vmware

2、虛擬機爲centos

3、現在vmware上安裝centos

4、yum upgrade,更新下軟件包

5、使用vmware共享文件夾

(1)、首先選擇vmware菜單中的虛擬機-->安裝vmware tools

(2)、vmware會將tools的安裝包放置在/dev/cdrom中,在centos中mount該目錄: mount /dev/cdrom /mnt/cdrom

(3)、解壓 /mnt/cdrom 中的 /mnt/cdrom/VMwareTools-x.x.x-yyyy.tar.gz 到某個臨時目錄:tar xzfv /mnt/cdrom/VMwareTools-x.x.x-yyyy.tar.gz

(4)、執行vmware-install.pl,安裝vmware tools,如果在安裝中遇到無法找到某個包或依賴項,使用yum進行相應安裝即可

(5)、關機,在vmware中配置共享文件夾

(6)、重啓centos,共享文件夾會出現在/mnt/hgfs目錄下

(7)、如果沒有,嘗試:mount –t vmhgfs .host:/share-name /mnt/share-name

(8)、可以在 /etc/fstab 中添加如下條目,實現開機就 mount 共享目錄 :.host:/share-name /mnt/share-name vmhgfs defaults 0 0

6、下載jdk和hadoop的壓縮包,並放置在共享文件夾中

7、在centos中解壓

8、配置jdk和hadoop環境變量(/etc/profile):

(1)、export JAVA_HOME=/jdk路徑

(2)、export PATH=${JAVA_HOME}/bin:$PATH

(3)、export CLASSPATH=.:${JAVA_HOME}/lib

(4)、export HADOOP_INSTALL=/hadoop路徑

(5)、export PATH=${HADOOP_INSTALL}/bin:$PATH

9、配置hadoop文件(使用的是僞分佈模式)

(1)、hadoop2.6.2/etc/hadoop/hadoop-env.sh,添加JAVA_HOME導出(按理profile配置完應該能找到,但是運行hadoop時告訴我還是找不到JAVA_HOME,所以在這再export了一次)

(2)、修改core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost/</value>
</property>
</configuration>

(3)、修改hdfs-site.xml

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>

10、配置ssh免密碼登錄

(1)、ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa

(2)、cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized.keys

(3)、ssh localhost,第一次輸yes

11、初始化namenode:hadoop namenode -format

12、啓動dfs:./start-dfs.sh

13、關閉dfs:./stop-dfs.sh

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章