hadoop，hbase，mongodb多節點集羣安裝入門教程以及ycsb測試性能

突然發現很多同學對搭環境很敬畏，一部分原因在於沒有這種經歷，另一部分原因便是對linux的不熟悉。

解決辦法就兩點：

1、熟悉linux基本操作 

2、google

我認爲主要在鍛鍊解決問題的能力，而且在搭建環境的過程中會對所搭建的工程有更進一步的理解。

我本來準備把hadoop，hbase，mongodb以及ycsb的測試從頭到尾寫一個入門級的文檔，結果過了個寒假髮現都忘了差不多了。。於是把之前的草稿找出來草草的寫一下大致流程吧，並且每個部分都提供了比較全面的文檔。

文章分爲5個部分，分別爲系統安裝配置，hadoop安裝配置，hbase安裝配置，mongodb安裝配置，ycsb配置以及測試hbase和mongodb的性能。

環境：使用3臺VMware的虛擬機，單核，內存1G，系統鏡像爲ubuntu-12.04.4-server-i386（最好是乾淨的系統）

軟件準備：

關於版本的問題下面會說到。

jdk-6u24-linux-i586.bin

hadoop-1.1.2.tar.gz

hbase-0.96.0-hadoop1-bin.tar.gz

mongodb-linux-i686-2.4.9.tgz

apache-maven-3.1.1-bin.tar.gz

YCSB-master.zip

或者打包下載：點這裏

1.   系統安裝配置

a)       安裝虛擬化軟件，VMware workstation 或者 virtual box，或者申請雲主機。。

b)       啓動3臺虛擬機，載入ubuntu的鏡像，可以是用傻瓜安裝一路next（只裝ssh），一些配置裝好後在改

c)       配置網絡

三個節點的ip和hostname如下：

IP:10.10.82.225 hostname:zfhmaster

IP:10.10.82.199 hostname:zfhslave

IP:10.10.82.221 hostname:hwxslave

              以下配置以zfhmaster爲例說明

sudo vi /etc/network/interfaces #網絡接口配置，包括網絡接口說明、IP地址、子網掩碼、網關等

       auto eth0

              iface eth inetstatic

              address10.10.82.225

              gateway10.10.82.1

              netmask 255.255.255.0

 

       sudo vi/etc/resolv.conf             # DNS服務器設置

              nameserver202.120.224.6

       sudo vi /etc/hostname               # 主機名設置

              zfhmaster

sudo vi /etc/hosts                      #域名解析映射

10.10.82.225 zfhmaster
10.10.82.199 zfhslave

10.10.82.221 hwxslave

2.   hadoop安裝配置

需要注意：

1，開始前需要創建hadoop用戶來操作，在下面提供的文檔中說明了哪一步用hadoop用戶哪一步用root。

創建用戶用命令：

adduser [username]

比如想創建hadoop用戶：

adduser hadoop

然後就會提示你輸入密碼等，比useradd更入門級。

2，在設置hadoop無密碼使用root權限的時候，需要修改/erc/sudoers文件，但是有時會發現沒有寫的權限，無法修改。

使用root用戶給這個文件增加寫的權限:

chmod u+w /etc/sudoers

即可解決。

參考文檔：

Hadoop完全分佈式模式的安裝和配置（主要）

在三臺虛擬機上部署多節點Hadoop（輔助）

3.   hbase安裝配置

需要注意：

1，由於hbase版本需要和hadoop版本兼容，所以建議使用我前面提供的文件版本，或者去官網查一下對應版本號。

參考文檔：

HBASE完全分佈式模式的安裝（主要）

Hbase官方文檔（輔助）

4.   mongodb安裝配置

需要注意：

1，在32位機器下，需要創建/data/mongodb/log目錄:

mkdir /data/mongodb/log -p

即可。

參考文檔：

Mongodb 集羣搭建--Replica Set（主要）

Mongodb集羣搭建配置（輔助）

5.   ycsb配置以及測試hbase和mongodb的性能

參考文檔：

利用ycsb測試redis性能（主要參考ycsb安裝配置部分）

用這個版本會遇到的問題：

How to compile YCSB for Hbase 0.96.0?

即針對pom.xml需要修改兩個地方，

<dependency>
  <groupId>org.apache.hbase</groupId>
  <artifactId>hbase</artifactId>
  <version>0.96.0-hadoop2</version>
</dependency>

需要改爲：

<dependency>
  <groupId>org.apache.hbase</groupId>
  <artifactId>hbase-client</artifactId>
  <version>0.96.0-hadoop1</version>
</dependency>

測試性能的話，看一下workloads下不同的負載文件，然後跑負載，處理數據就行了（一筆帶過。。。）