Hadoop-2.2.0下的基準測試。

要進行基準測試,首先啓動hdfs和yarn:

bin/start-dfs.sh;
bin/start-yarn.sh;

一. TestDFSIO HDFS上的IO性能測試;

1. 寫性能

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar TestDFSIO -write -nrFiles 3 -fileSize 2048

其中 -write 表示測試寫性能;

        -nrFiles 指定要測試的文件個數(一般一個文件一個map,實驗表明文件數等於datanode節點數時,測試效果最好);

        -fileSize 指定每個文件的大小;

2. 讀性能

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.2.0-tests.jar TestDFSIO -read -nrFiles 3 -fileSize 2048
意義同上,這是測試寫的性能,一般來說讀的吞吐要好於寫的吞吐幾倍。

二. Sort 測試MapReduce System的整體性能;

這個過程分三步:A-產生隨機數;B-排序;C-驗證結果。

1. 產生隨機數;

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar randomwriter random-data

2. 排序;

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar sort random-data sorted-data

3. 驗證結果;

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar tsort random-data sorted-data

此命令 一直未執行成功。



發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章