hadoop的使用

安裝完hadoop,接下來就是嘗試使用hadoop的相關命令,從此更深入的瞭解hadoop文件系統的實現原理
1.cd /root/hadoop-1.1.0  //進入hadoop的安裝目錄
  jps     //察看hadoop的相關進程是否啓動。顯示如下:
  4595 Jps    //說明尚未啓動

2.格式化分佈式文件系統
$ bin/hadoop namenode –format

$ bin/start-all.sh    //啓動hadoop的守護進程
root@sushan-G31M-ES2C:~/hadoop-1.1.0# jps  //察看守護進程是否啓動成功,顯示以下進程說明正常的。
5705 SecondaryNameNode
5225 DataNode
5792 JobTracker
4724 NameNode
6268 TaskTracker
6337 Jps

$ bin/stop-all.sh     //停止hadoop的守護進程的命令
3.爲了方便後邊的演示,我在這裏新建幾個文件方便後續的演示!
(1)建立本地文件或目錄:
root@sushan-G31M-ES2C:~/hadoop-1.1.0# echo "hello" >> /tmp/file1
root@sushan-G31M-ES2C:~/hadoop-1.1.0# echo "hello world" >> /tmp/file2
root@sushan-G31M-ES2C:~/hadoop-1.1.0# cat /tmp/file2
hello world
root@sushan-G31M-ES2C:~/hadoop-1.1.0# cat /tmp/file1
hello
root@sushan-G31M-ES2C:~/hadoop-1.1.0#  //以上實在本地建立的文件

root@sushan-G31M-ES2C:~/hadoop-1.1.0# echo "abababbabab" >> /tmp/sushan/sushan1
root@sushan-G31M-ES2C:~/hadoop-1.1.0# echo "abababbabab2" >> /tmp/sushan/sushan2
root@sushan-G31M-ES2C:~/hadoop-1.1.0# cat /tmp/sushan/sushan
sushan1  sushan2 
root@sushan-G31M-ES2C:~/hadoop-1.1.0# cat /tmp/sushan/sushan1
abababbabab
root@sushan-G31M-ES2C:~/hadoop-1.1.0# cat /tmp/sushan/sushan2
abababbabab2
//以上是在本地建立的目錄並在目錄下建立文件。
(2)在hdfs端建立目錄:
root@sushan-G31M-ES2C:~/hadoop-1.1.0# bin/hadoop dfs -mkdir dir1  //相當於在雲端建立一個目錄
root@sushan-G31M-ES2C:~/hadoop-1.1.0# bin/hadoop dfs -ls
Found 1 items
drwxr-xr-x   - root supergroup          0 2012-12-16 11:51 /user/root/dir1  //這裏注意建立的目錄默認實在/user/root/下,其中的root可以是hadoop。根據你創建的hadoop用戶看。

(3)將本地建立的文件或者目錄上傳至hdfs目錄上:
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop dfs -copyFromLocal /tmp/file1 dir1
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop dfs -copyFromLocal /tmp/file2 dir1  //將本地的文件複製到雲端。
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop dfs -copyFromLocal /tmp/sushan  dir1  //將本地的目錄複製到雲端。
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop dfs -ls dir1
Found 3 items
-rw-r--r--   1 root supergroup          6 2012-12-16 11:56 /user/root/dir1/file1
-rw-r--r--   1 root supergroup         12 2012-12-16 11:56 /user/root/dir1/file2
drwxr-xr-x   - root supergroup          0 2012-12-16 11:56 /user/root/dir1/sushan
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop dfs -cat dir1/file1   //cat命令察看hdfs文件的內容
hello 
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop dfs -cat dir1/file2
hello world
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop dfs -ls dir1/sushan
Found 2 items
-rw-r--r--   1 root supergroup         12 2012-12-16 11:56 /user/root/dir1/sushan/sushan1
-rw-r--r--   1 root supergroup         13 2012-12-16 11:56 /user/root/dir1/sushan/sushan2

或者使用put命令上傳目錄,並且重命名如下:
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls
Found 2 items
drwxr-xr-x   - root supergroup          0 2012-12-16 11:56 /user/root/dir1
drwxr-xr-x   - root supergroup          0 2012-12-16 12:04 /user/root/outdir
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -put /tmp/sushan sushan //將本地的/tmp/sushan目錄上傳之hdfs的根目錄上並且重命名爲sushan。
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls  //ls命令列出hdfs文件
Found 3 items
drwxr-xr-x   - root supergroup          0 2012-12-16 11:56 /user/root/dir1
drwxr-xr-x   - root supergroup          0 2012-12-16 12:04 /user/root/outdir
drwxr-xr-x   - root supergroup          0 2012-12-16 12:09 /user/root/sushan
root@sushan-G31M-ES2C:~/hadoop-1.1.0#

(4)使用分佈式計算:
$ bin/hadoop jar hadoop-examples-1.0.1.jar wordcount dir1 outdir  //計算單詞個數的函數,使用到分佈式計算。這裏需要注意一下,在執行之前outdir目錄必須爲空,否則會出錯。
注意這裏你可以在網頁上看到你計算的細節內容:
localhost:50030
localhost:50070
(5)刪除hdfs的文件或者目錄:
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -rm dir1/file1
Deleted hdfs://localhost:9000/user/root/dir1/file1
//刪除文件的命令是rm。
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls dir1/sushan
Found 1 items
-rw-r--r--   1 root supergroup         13 2012-12-16 11:56 /user/root/dir1/sushan/sushan2
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -rm dir1/sushan
rm: Cannot remove directory "hdfs://localhost:9000/user/root/dir1/sushan", use -rmr instead
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -rmr dir1/sushan
Deleted hdfs://localhost:9000/user/root/dir1/sushan
//刪除目錄的命令是rmr

(6)將hdfs目錄中的文件sushan1下載到本地,並重命名爲test
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -get sushan/sushan1 test
 將hdfs目錄中的某個目錄下載到本地並命名爲a
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -get sushan a                         LICENSE.txt  sbin
root@sushan-G31M-ES2C:~/hadoop-1.1.0# cd a/
root@sushan-G31M-ES2C:~/hadoop-1.1.0/a# ls
sushan1  sushan2
(7)注意hadoop fs -cat 命令的使用只適合與hdfs,不適合與本地,本地使用會出錯的哦!會默認去找hdfs上的。
如:
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -cat README.txt
cat: File does not exist: /user/root/README.txt

4.另外的一些命令的使用:
FS Shell
調用文件系統(FS)Shell命令應使用 bin/hadoop fs <args>的形式。 所有的的FS shell命令使用URI路徑作爲參數。URI格式是scheme://authority/path。對HDFS文件系統,scheme是hdfs,對本地文件系統,scheme是file。其中scheme和authority參數都是可選的,如果未加指定,就會使用配置中指定的默認scheme。一個HDFS文件或目錄比如/parent/child可以表示成hdfs://namenode:namenodeport/parent/child,或者更簡單的/parent/child(假設你配置文件中的默認值是namenode:namenodeport)。大多數FS Shell命令的行爲和對應的Unix Shell命令類似,不同之處會在下面介紹各命令使用詳情時指出。出錯信息會輸出到stderr,其他信息輸出到stdout。
(1)cat命令:
使用方法:hadoop fs -cat URI [URI …]
將路徑指定文件的內容輸出到stdout。
示例:
hadoop fs -cat hdfs://host1:port1/file1 hdfs://host2:port2/file2
hadoop fs -cat file:///file3 /user/hadoop/file4
返回值:
成功返回0,失敗返回-1。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0/a# hadoop fs -ls
Found 2 items
drwxr-xr-x   - root supergroup          0 2012-12-16 12:04 /user/root/outdir
drwxr-xr-x   - root supergroup          0 2012-12-16 12:09 /user/root/sushan

root@sushan-G31M-ES2C:~/hadoop-1.1.0/a# hadoop fs -cat hdfs://localhost:9000/user/root/sushan/sushan1
abababbabab          
root@sushan-G31M-ES2C:~/hadoop-1.1.0/a# hadoop fs -cat file:///a
sushanshan
root@sushan-G31M-ES2C:~/hadoop-1.1.0/a# cat /a
sushanshan
root@sushan-G31M-ES2C:~/hadoop-1.1.0/a# hadoop fs -cat file:///a  /user/root/sushan/sushan2
sushanshan
abababbabab2

(2)chgrp命令:
使用方法:hadoop fs -chgrp [-R] GROUP URI [URI …]
改變文件所屬的組。使用-R將使改變在目錄結構下遞歸進行。命令的使用者必須是文件的所有者或者超級用戶。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls sushan
Found 2 items
-rw-r--r--   1 root supergroup         12 2012-12-16 12:09 /user/root/sushan/sushan1
-rw-r--r--   1 root supergroup         13 2012-12-16 12:09 /user/root/sushan/sushan2
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -chgrp root sushan/sushan1
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls sushan
Found 2 items
-rw-r--r--   1 root root               12 2012-12-16 12:09 /user/root/sushan/sushan1
-rw-r--r--   1 root supergroup         13 2012-12-16 12:09 /user/root/sushan/sushan2
root@sushan-G31M-ES2C:~/hadoop-1.1.0#
(3)chmod命令:
使用方法:hadoop fs -chmod [-R] <MODE[,MODE]... | OCTALMODE> URI [URI …]
改變文件的權限。使用-R將使改變在目錄結構下遞歸進行。命令的使用者必須是文件的所有者或者超級用戶。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls sushan
Found 2 items
-rw-r--r--   1 root   root               12 2012-12-16 12:09 /user/root/sushan/sushan1
-rw-r--r--   1 sushan supergroup         13 2012-12-16 12:09 /user/root/sushan/sushan2
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -chmod 777 /user/root/sushan/sushan2
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls sushan
Found 2 items
-rw-r--r--   1 root   root               12 2012-12-16 12:09 /user/root/sushan/sushan1
-rw-rw-rw-   1 sushan supergroup         13 2012-12-16 12:09 /user/root/sushan/sushan2
root@sushan-G31M-ES2C:~/hadoop-1.1.0#
注意:這裏需要注意下的是這裏給777的權限但是最後的可執行權限是沒有的哦!

(4)chown命令:
使用方法:hadoop fs -chown [-R] [OWNER][:[GROUP]] URI [URI ]
改變文件的擁有者。使用-R將使改變在目錄結構下遞歸進行。命令的使用者必須是超級用戶。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls sushan
Found 2 items
-rw-r--r--   1 root root               12 2012-12-16 12:09 /user/root/sushan/sushan1
-rw-r--r--   1 root supergroup         13 2012-12-16 12:09 /user/root/sushan/sushan2
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -chown sushan /user/root/sushan/sushan2
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls sushan
Found 2 items
-rw-r--r--   1 root   root               12 2012-12-16 12:09 /user/root/sushan/sushan1
-rw-r--r--   1 sushan supergroup         13 2012-12-16 12:09 /user/root/sushan/sushan2
root@sushan-G31M-ES2C:~/hadoop-1.1.0#

(5)copyFromLocal命令:
使用方法:hadoop fs -copyFromLocal <localsrc> URI
除了限定源路徑是一個本地文件外,和put命令相似。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -copyFromLocal /tmp/file* dir1
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls dir1
Found 2 items
-rw-r--r--   1 root supergroup          6 2012-12-16 13:08 /user/root/dir1/file1
-rw-r--r--   1 root supergroup         12 2012-12-16 13:08 /user/root/dir1/file2
(6)copyToLocal命令:
使用方法:hadoop fs -copyToLocal [-ignorecrc] [-crc] URI <localdst>
除了限定目標路徑是一個本地文件外,和get命令類似。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls dir1
Found 2 items
-rw-r--r--   1 root supergroup          6 2012-12-16 13:08 /user/root/dir1/file1
-rw-r--r--   1 root supergroup         12 2012-12-16 13:08 /user/root/dir1/file2
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -copyToLocal dir1/file1 ab
root@sushan-G31M-ES2C:~/hadoop-1.1.0# cat ab
hello
(7)cp命令:
使用方法:hadoop fs -cp URI [URI …] <dest>
將文件從源路徑複製到目標路徑。這個命令允許有多個源路徑,此時目標路徑必須是一個目錄。
示例:
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2
hadoop fs -cp /user/hadoop/file1 /user/hadoop/file2 /user/hadoop/dir
返回值:成功返回0,失敗返回-1。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls dir2
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls dir1
Found 2 items
-rw-r--r--   1 root supergroup          6 2012-12-16 13:08 /user/root/dir1/file1
-rw-r--r--   1 root supergroup         12 2012-12-16 13:08 /user/root/dir1/file2
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -cp dir1/* dir2
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls dir2
Found 2 items
-rw-r--r--   1 root supergroup          6 2012-12-16 13:20 /user/root/dir2/file1
-rw-r--r--   1 root supergroup         12 2012-12-16 13:20 /user/root/dir2/file2
root@sushan-G31M-ES2C:~/hadoop-1.1.0#

(8)du命令:
使用方法:hadoop fs -du URI [URI …]
顯示目錄中所有文件的大小,或者當只指定一個文件時,顯示此文件的大小。
示例:
hadoop fs -du /user/hadoop/dir1 /user/hadoop/file1
hdfs://host:port/user/hadoop/dir1
返回值:成功返回0,失敗返回-1。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -du dir1
Found 2 items
6           hdfs://localhost:9000/user/root/dir1/file1
12          hdfs://localhost:9000/user/root/dir1/file2
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -du dir2/file1
Found 1 items
6           hdfs://localhost:9000/user/root/dir2/file1
root@sushan-G31M-ES2C:~/hadoop-1.1.0#

(9)dus命令:
使用方法:hadoop fs -dus <args>
顯示文件的大小。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -dus dir1
hdfs://localhost:9000/user/root/dir1    18
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -dus dir1/file1
hdfs://localhost:9000/user/root/dir1/file1    6
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -dus dir1/file2
hdfs://localhost:9000/user/root/dir1/file2    12
root@sushan-G31M-ES2C:~/hadoop-1.1.0#

(10)expunge命令:
使用方法:hadoop fs -expunge
清空回收站。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -expunge
(11)get命令:
使用方法:hadoop fs -get [-ignorecrc] [-crc] <src> <localdst>
複製文件到本地文件系統。可用-ignorecrc選項複製CRC校驗失敗的文件。使用-crc選項複製文件以及CRC信息。
示例:
hadoop fs -get /user/hadoop/file localfile
hadoop fs -get hdfs://host:port/user/hadoop/file localfile
返回值:成功返回0,失敗返回-1。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -get sushan/sushan1 test
 將hdfs目錄中的某個目錄下載到本地並命名爲a
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -get sushan a                         LICENSE.txt  sbin
root@sushan-G31M-ES2C:~/hadoop-1.1.0# cd a/
root@sushan-G31M-ES2C:~/hadoop-1.1.0/a# ls
sushan1  sushan2
(12)getmerge命令:
使用方法:hadoop fs -getmerge <src> <localdst> [addnl]
接受一個源目錄和一個目標文件作爲輸入,並且將源目錄中所有的文件連接成本地目標文件。addnl是可選的,用於指定在每個文件結尾添加一個換行符。
實例(具體使用):

(13)ls命令:
使用方法:hadoop fs -ls <args>
如果是文件,則按照如下格式返回文件信息:
文件名 <副本數> 文件大小 修改日期 修改時間 權限 用戶ID 組ID
如果是目錄,則返回它直接子文件的一個列表,就像在Unix中一樣。目錄返回列
表的信息如下:
目錄名 <dir> 修改日期 修改時間 權限 用戶ID 組ID
示例:
hadoop fs -ls /user/hadoop/file1 /user/hadoop/file2
實例(具體使用):
hdfs://host:port/user/hadoop/dir1 /nonexistentfile
返回值:成功返回0,失敗返回-1。
實例(具體使用):
root@sushan-G31M-ES2C:~# hadoop fs -ls  hdfs://localhost:9000/user/root
Found 3 items
drwxr-xr-x   - root supergroup          0 2012-12-16 13:08 /user/root/dir1
-rw-r--r--   1 root supergroup          0 2012-12-16 13:29 /user/root/file3
drwxr-xr-x   - root supergroup          0 2012-12-16 12:09 /user/root/sushan
(14)lsr命令:
使用方法:hadoop fs -lsr <args>
ls命令的遞歸版本。類似於Unix中的ls -R。
實例(具體使用):
root@sushan-G31M-ES2C:~# hadoop fs -lsr  hdfs://localhost:9000/user/root
drwxr-xr-x   - root supergroup          0 2012-12-16 13:08 /user/root/dir1
-rw-r--r--   3 root supergroup          6 2012-12-16 13:08 /user/root/dir1/file1
-rw-r--r--   3 root supergroup         12 2012-12-16 13:08 /user/root/dir1/file2
-rw-r--r--   1 root supergroup          0 2012-12-16 13:29 /user/root/file3
drwxr-xr-x   - root supergroup          0 2012-12-16 12:09 /user/root/sushan
-rw-r--r--   1 root   root               12 2012-12-16 12:09 /user/root/sushan/sushan1
-rw-rw-rw-   1 sushan supergroup         13 2012-12-16 12:09 /user/root/sushan/sushan2

(15)mkdir命令:
使用方法:hadoop fs -mkdir <paths>
接受路徑指定的uri作爲參數,創建這些目錄。其行爲類似於Unix的mkdir -p,
它會創建路徑中的各級父目錄。
示例:
hadoop fs -mkdir /user/hadoop/dir1 /user/hadoop/dir2
hadoop fs -mkdir hdfs://host1:port1/user/hadoop/dir
hdfs://host2:port2/user/hadoop/dir
返回值:成功返回0,失敗返回-1。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls
Found 2 items
drwxr-xr-x   - root supergroup          0 2012-12-16 12:04 /user/root/outdir
drwxr-xr-x   - root supergroup          0 2012-12-16 12:09 /user/root/sushan
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -mkdir dir1
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -mkdir /user/root/dir2
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -mkdir hdfs://localhost:9000/user/root/dir3
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls
Found 5 items
drwxr-xr-x   - root supergroup          0 2012-12-16 13:08 /user/root/dir1
drwxr-xr-x   - root supergroup          0 2012-12-16 13:14 /user/root/dir2
drwxr-xr-x   - root supergroup          0 2012-12-16 13:15 /user/root/dir3
drwxr-xr-x   - root supergroup          0 2012-12-16 12:04 /user/root/outdir
drwxr-xr-x   - root supergroup          0 2012-12-16 12:09 /user/root/sushan

(16)movefromLocal命令:
使用方法:dfs -moveFromLocal <src> <dst>
輸出一個”not implemented“信息。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -moveFromLocal /tmp/file1 a
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls
Found 4 items
-rw-r--r--   1 root supergroup          6 2012-12-16 14:00 /user/root/a
drwxr-xr-x   - root supergroup          0 2012-12-16 13:08 /user/root/dir1
-rw-r--r--   1 root supergroup          0 2012-12-16 13:29 /user/root/file3
drwxr-xr-x   - root supergroup          0 2012-12-16 12:09 /user/root/sushan
root@sushan-G31M-ES2C:~/hadoop-1.1.0#

(17)mv
使用方法:hadoop fs -mv URI [URI …] <dest>
將文件從源路徑移動到目標路徑。這個命令允許有多個源路徑,此時目標路徑必須是一個目錄。不允許在不同的文件系統間移動文件。
示例:
hadoop fs -mv /user/hadoop/file1 /user/hadoop/file2
hadoop fs -mv hdfs://host:port/file1 hdfs://host:port/file2
hdfs://host:port/file3 hdfs://host:port/dir1
返回值:成功返回0,失敗返回-1。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -mv /user/root/a /user/root/dir1
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls /user/root/dir1
Found 3 items
-rw-r--r--   1 root supergroup          6 2012-12-16 14:00 /user/root/dir1/a
-rw-r--r--   3 root supergroup          6 2012-12-16 13:08 /user/root/dir1/file1
-rw-r--r--   3 root supergroup         12 2012-12-16 13:08 /user/root/dir1/file2
root@sushan-G31M-ES2C:~/hadoop-1.1.0#

(18)put命令:
使用方法:hadoop fs -put <localsrc> ... <dst>
從本地文件系統中複製單個或多個源路徑到目標文件系統。也支持從標準輸入中讀取輸入寫入目標文件系統。
hadoop fs -put localfile /user/hadoop/hadoopfile
hadoop fs -put localfile1 localfile2 /user/hadoop/hadoopdir
hadoop fs -put localfile hdfs://host:port/hadoop/hadoopfile
hadoop fs -put - hdfs://host:port/hadoop/hadoopfile
從標準輸入中讀取輸入。
返回值:成功返回0,失敗返回-1。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -put file:///root/hadoop-1.1.0/README.txt dir1/b
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls dir1
Found 4 items
-rw-r--r--   1 root supergroup          6 2012-12-16 14:00 /user/root/dir1/a
-rw-r--r--   1 root supergroup       1366 2012-12-16 14:04 /user/root/dir1/b
-rw-r--r--   3 root supergroup          6 2012-12-16 13:08 /user/root/dir1/file1
-rw-r--r--   3 root supergroup         12 2012-12-16 13:08 /user/root/dir1/file2
root@sushan-G31M-ES2C:~/hadoop-1.1.0#

(19)rm命令
使用方法:hadoop fs -rm URI [URI …]
刪除指定的文件。只刪除非空目錄和文件。請參考rmr命令瞭解遞歸刪除。
示例:
hadoop fs -rm hdfs://host:port/file /user/hadoop/emptydir
返回值:成功返回0,失敗返回-1。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -rm hdfs://localhost:9000/user/root/dir1/file1
Deleted hdfs://localhost:9000/user/root/dir1/file1
//刪除文件的命令是rm。
(20)rmr命令:
使用方法:hadoop fs -rmr URI [URI …]
實例(具體使用):
root@sushan-G31M-ES2C:~# hadoop fs -rmr hdfs://localhost:9000/user/root/dir3
Deleted hdfs://localhost:9000/user/root/dir3

(21)delete的遞歸版本。
示例:
hadoop fs -rmr /user/hadoop/dir
hadoop fs -rmr hdfs://host:port/user/hadoop/dir
返回值:成功返回0,失敗返回-1。
實例(具體使用):
root@sushan-G31M-ES2C:~# hadoop fs -ls
Found 5 items
drwxr-xr-x   - root supergroup          0 2012-12-16 13:08 /user/root/dir1
drwxr-xr-x   - root supergroup          0 2012-12-16 13:20 /user/root/dir2
-rw-r--r--   1 root supergroup          0 2012-12-16 13:29 /user/root/file3
drwxr-xr-x   - root supergroup          0 2012-12-16 12:04 /user/root/outdir
drwxr-xr-x   - root supergroup          0 2012-12-16 12:09 /user/root/sushan
root@sushan-G31M-ES2C:~# hadoop fs -rmr hdfs://localhost:9000/user/root/outdir
Deleted hdfs://localhost:9000/user/root/outdir
root@sushan-G31M-ES2C:~# hadoop fs -rmr /user/root/dir2
Deleted hdfs://localhost:9000/user/root/dir2
root@sushan-G31M-ES2C:~# hadoop fs -ls
Found 3 items
drwxr-xr-x   - root supergroup          0 2012-12-16 13:08 /user/root/dir1
-rw-r--r--   1 root supergroup          0 2012-12-16 13:29 /user/root/file3
drwxr-xr-x   - root supergroup          0 2012-12-16 12:09 /user/root/sushan
root@sushan-G31M-ES2C:~#


(22)setrep命令:
使用方法:hadoop fs -setrep [-R] <path>
改變一個文件的副本系數。-R選項用於遞歸改變目錄下所有文件的副本系數。
示例:
hadoop fs -setrep -w 3 -R /user/hadoop/dir1
返回值:
成功返回0,失敗返回-1。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -setrep -w 3 -R /user/root/dir1
Replication 3 set: hdfs://localhost:9000/user/root/dir1/file1
Replication 3 set: hdfs://localhost:9000/user/root/dir1/file2
...................................
(23)stat
使用方法:hadoop fs -stat URI [URI …]
返回指定路徑的統計信息。
示例:
hadoop fs -stat path
返回值:成功返回0,失敗返回-1。
實例(具體使用):
root@sushan-G31M-ES2C:~# hadoop fs -stat dir2/file1
2012-12-16 05:20:05
root@sushan-G31M-ES2C:~#

(24)tail命令:
使用方法:hadoop fs -tail [-f] URI
將文件尾部1K字節的內容輸出到stdout。支持-f選項,行爲和Unix中一致。
示例:
hadoop fs -tail pathname
返回值:成功返回0,失敗返回-1。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -tail -f /user/root/dir1/file1 //和本地一樣可以動態的顯示。
hello

(25)test命令:
使用方法:hadoop fs -test -[ezd] URI
選項:
-e 檢查文件是否存在。如果存在則返回0。
-z 檢查文件是否是0字節。如果是則返回0。
-d 如果路徑是個目錄,則返回1,否則返回0。
示例:
hadoop fs -test -e filename
text
使用方法:hadoop fs -text <src>
將源文件輸出爲文本格式。允許的格式是zip和TextRecordInputStream。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -text file3
text: null
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -text dir1/file1
hello
root@sushan-G31M-ES2C:~/hadoop-1.1.0#
(26)touchz命令:
使用方法:hadoop fs -touchz URI [URI …]
創建一個0字節的空文件。
示例:
hadoop -touchz pathname
返回值:成功返回0,失敗返回-1。
實例(具體使用):
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls
Found 5 items
drwxr-xr-x   - root supergroup          0 2012-12-16 13:08 /user/root/dir1
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -touchz file3
root@sushan-G31M-ES2C:~/hadoop-1.1.0# hadoop fs -ls
Found 6 items
drwxr-xr-x   - root supergroup          0 2012-12-16 13:08 /user/root/dir1
-rw-r--r--   1 root supergroup          0 2012-12-16 13:29 /user/root/file3
 
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章