Hadoop系列之MapReduce(分佈式計算測試)

MapReduce分佈式計算測試
1.統計文本單詞數量
1.1.查看當前hdfs分佈式系統存儲內容
[root@hdfs-master hadoop]# hdfs dfs -ls -R /
drwxr-xr-x   - root supergroup          0 2014-09-15 09:05 /test
-rw-r--r--   2 root supergroup          4 2014-09-15 09:05 /test/aa.txt
-rw-r--r--   2 root supergroup          4 2014-09-12 21:58 /test/bb.txt
1.2.在本地建立測試文件爲count.txt
[root@hdfs-master soft]# touch count.txt
[root@hdfs-master soft]# ls
count.txt
1.3.在count.txt輸入測試內容
[root@hdfs-master soft]# cat count.txt
hello world
hello hadoop
hello python
hadoop hdfs mapreduce
1.4.在hdfs分佈式系統上建立測試目錄/mapreduce/input
[root@hdfs-master soft]#  hdfs dfs -mkdir -p /mapreduce/input
1.5.再次查看當前hdfs分佈式系統目錄是否成功
[root@hdfs-master soft]# hdfs dfs -ls -R /
drwxr-xr-x   - root supergroup          0 2014-09-15 14:24 /mapreduce
drwxr-xr-x   - root supergroup          0 2014-09-15 14:24 /mapreduce/input
drwxr-xr-x   - root supergroup          0 2014-09-15 09:05 /test
-rw-r--r--   2 root supergroup          4 2014-09-15 09:05 /test/aa.txt
-rw-r--r--   2 root supergroup          4 2014-09-12 21:58 /test/bb.txt
1.6.上傳本地測試文件count.txt 到hdfs分佈式存儲/mapreduce/input目錄下
[root@hdfs-master soft]# hdfs dfs -put count.txt /mapreduce/input
1.7.檢查count.txt文件是否上傳成功
[root@hdfs-master soft]# hdfs dfs -ls  /mapreduce/input
-rw-r--r--   2 root supergroup         60 2014-09-15 14:27 /mapreduce/input/count.txt
1.8.通過mapreduce統計/mapreduce/input/count.txt單詞數量
[root@hdfs-master soft]#  hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.4.0.jar wordcount /mapreduce/input/count.txt /mapreduce/output
1.9.查看統計數量的結果目錄爲/mapreduce/output
[root@hdfs-master soft]# hdfs dfs -ls -R /mapreduce/output
-rw-r--r--   2 root supergroup          0 2014-09-15 14:30 /mapreduce/output/_SUCCESS
-rw-r--r--   2 root supergroup         53 2014-09-15 14:30 /mapreduce/output/part-r-00000
1.10查看真正的單詞數量文件爲/mapreduce/output/part-r-00000
 [root@hdfs-master soft]# hdfs dfs -cat /mapreduce/output/part-r-00000
hadoop    2
hdfs    1
hello    3
mapreduce    1
python    1
world    1
2.通過shell腳本分佈式搜索給定的內容
2.1建立測試文件file01和file02
[root@hdfs-master soft]# cat file01
hello world bye world
[root@hdfs-master soft]# cat file02
hello hadoop bye hadoop
2.2上傳測試文件到hdfs分佈式存儲
[root@hdfs-master soft]#hdfs dfs -put file0*  /mapreduce/input
2.3查看上傳文件是否成功
[root@hdfs-master soft]# hdfs dfs -ls /mapreduce/input
-rw-r--r--   2 root supergroup         22 2014-09-15 14:42 /mapreduce/input/file01
-rw-r--r--   2 root supergroup         24 2014-09-15 14:42 /mapreduce/input/file02
2.4編寫shell腳本搜索帶有hadoop關鍵字
[root@hdfs-master soft]# cat reduce.sh
grep hadoop
2.5執行分佈式計算
[root@hdfs-master soft]#hadoop jar /usr/local/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.4.0.jar -input /mapreduce/input/ -output /mapreduce/output -mapper /bin/cat -reducer /root/soft/reduce.sh -file /root/soft/reduce.sh
2.6查看搜索結果文件/mapreduce/output/part-00000
[root@hdfs-master soft]# hdfs dfs  -cat /mapreduce/output/part-00000
hello hadoop bye hadoop