hdfs的搭建

創建rsa無密碼登錄：

ssh-keygen -t rsa

cat .ssh/id_rsa.pub .ssh/authorized_keys

 

先配置hdfs：

1、下載hadoop-0.20.2.tar.gz，解壓;

2、修改conf/hadoop-env.sh，配置java_home;

3、配置hdfs訪問路徑，core-site.xml：

 <property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:9000</value>
 </property>

  

4、配置namenode複本數，hdfs-site.xml：

 <property>
  <name>dfs.replication</name>
  <value>1</value>
 </property>

  

5、配置namenode元數據與操作日誌路徑，hdfs-site.xml：

  <property>
     <name>dfs.name.dir</name>
     <value>/u01/data/hadoop0.20/dfs/name</value>
  </property> 

   <property>
      <name>dfs.name.edits.dir</name>
      <value>/u01/data/hadoop0.20/dfs/name</value>
  </property> 

  

6、配置map/reduce，mapred-site.xml：

<configuration>
 <property>
  <name>mapred.job.tracker</name>
  <value>localhost:9001</value>
 </property>
</configuration>

 

7、對namenode路徑，進行格式化：

bin/hadoop namenode -format

 

可以看到配置的路徑被格式化後，系統建了兩個目錄current與image。

 

8、啓動hdfs：

bin/start-all.sh

ps -ef|grep  hdfs

會看到啓動了3個java進程，1個namenode，1個datanode，1個備用namenode：

org.apache.hadoop.hdfs.server.namenode.NameNode

org.apache.hadoop.hdfs.server.datanode.DataNode

org.apache.hadoop.hdfs.server.namenode.SecondaryNameNode

 

9、hdfs的shell操作

上傳文件： bin/hadoop fs -put  test.txt  cloud/test.txt

查看文件： bin/hadoop fs - ls cloud/test.txt

下載文件： bin/hadoop fs - get cloud/test.txt  test2.txt

刪除文件： bin/hadoop fs - rm cloud/test.txt