搭建高可用的MongoDB集羣(上):MongoDB的配置與副本集-1

在大數據的時代,傳統的關係型數據庫要能更高的服務必須要解決高併發讀寫、海量數據高效存儲、高可擴展性和高可用性這些難題。不過就是因爲這些問題Nosql誕生了。

NOSQL有這些優勢:

  • 大數據量,可以通過廉價服務器存儲大量的數據,輕鬆擺脫傳統mysql單表存儲量級限制。
  • 高擴展性,Nosql去掉了關係數據庫的關係型特性,很容易橫向擴展,擺脫了以往老是縱向擴展的詬病。
  • 高性能,Nosql通過簡單的key-value方式獲取數據,非常快速。還有NoSQL的Cache是記錄級的,是一種細粒度的Cache,所以NoSQL在這個層面上來說就要性能高很多。
  • 靈活的數據模型,NoSQL無需事先爲要存儲的數據建立字段,隨時可以存儲自定義的數據格式。而在關係數據庫裏,增刪字段是一件非常麻煩的事情。如果是非常大數據量的表,增加字段簡直就是一個噩夢。
  • 高可用,NoSQL在不太影響性能的情況,就可以方便的實現高可用的架構。比如mongodb通過mongos、mongo分片就可以快速配置出高可用配置。

在nosql數據庫裏,大部分的查詢都是鍵值對(key、value)的方式。MongoDB是一個介於關係數據庫和非關係數據庫之間的產品,是非關係數據庫當中最像關係數據庫的。支持類似於面向對象的查詢語言,幾乎可以實現類似關係數據庫單表查詢的絕大部分功能,而且還支持對數據建立索引。所以這個非常方便,我們可以用sql操作MongoDB,從關係型數據庫遷移過來,開發人員學習成本會大大減少。如果再對底層的sql API做一層封裝,開發基本可以感覺不到mongodb和關係型數據庫的區別。同樣MongoDB也是號稱自己能夠快速搭建一個高可用可擴展的的分佈式集羣,網上有很多搭建的文章,在我們搭建的時候還需要查找修改很多東西,所以把自己實戰的步驟記錄下來以備忘。我們看看如何一步一步搭建這個東東。

一、mongodb單實例。這種配置只適合簡易開發時使用,生產使用不行,因爲單節點掛掉整個數據業務全掛,如下圖。

 

雖然不能生產使用,但這個模式可以快速搭建啓動,並且能夠用mongodb的命令操作數據庫。下面列出在linux下安裝單節點mongodb的步驟

1. 建立mongodb測試文件夾

  1. #存放整個mongodb文件  
  2. mkdir -p /data/mongodbtest/single  
  3.  
  4. #存放mongodb數據文件  
  5. mkdir -p /data/mongodbtest/single/data  
  6.  
  7. #進入mongodb文件夾  
  8. cd  /data/mongodbtest/single  
2. 下載mongodb的安裝程序包

  1. wget <a href="http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.6.tgz">http://fastdl.mongodb.org/linux/mongodb-linux-x86_64-2.4.6.tgz</a>  
  2.  
  3. #解壓下載的壓縮包    
  4. tar xvzf mongodb-linux-x86_64-2.4.6.tgz  
  5.  
  6. #進入mongodb程序執行文件夾  
  7. cd mongodb-linux-x86_64-2.4.6/bin/  
3. 啓動單實例mongodb

  1. mongod  --dbpath /data/mongodbtest/single/data  
輸出日誌如下,成功!

[initandlisten] db version v2.4.6 
…….. 
[initandlisten] waiting for connections on port 27017 
[websvr] admin web console waiting for connections on port 28017

mongodb默認自帶提供了web訪問接口,通過 IP + 端口的形式可以訪問。 

http://192.168.0.1:28017/

 

二、主從模式。使用mysql數據庫時大家廣泛用到,採用雙機備份後主節點掛掉了後從節點可以接替主機繼續服務。所以這種模式比單節點的高可用性要好很多。

 

下面看一下怎麼一步步搭建一個mongodb的主從複製節點:

1. 準備兩臺機器 192.168.0.1 和 192.168.0.2。 192.168.0.1 當作主節點, 192.168.0.2作爲從節點。

2. 分別下載mongodb安裝程序包。在192.168.0.1上建立文件夾 /data/mongodbtest/master,192.168.0.2建立文件夾/data/mongodbtest/slave。

3. 在192.168.0.1啓動mongodb主節點程序。注意後面的這個 “ –master ”參數,標示主節點。

mongod –dbpath /data/mongodbtest/master –master

輸出日誌如下,成功!

[initandlisten] MongoDB starting : pid=18285 port=27017 dbpath=/data/mongodbtest/master master=1

#日誌顯示主節點參數

[initandlisten] options: { dbpath: “/data/mongodbtest/master”, master: true } 
…….. 
[initandlisten] waiting for connections on port 27017

4. 在192.168.0.2啓動mongodb從節點程序。關鍵配置,指定主節點ip地址和端口 –source 192.168.0.1:27017 和 標示從節點 –source 參數。

mongod –dbpath /data/mongodbtest/slave –slave –source 192.168.0.1:27017

輸出日誌如下,成功!

[initandlisten] MongoDB starting : pid=17888 port=27017 dbpath=/data/mongodbtest/slave slave=1
…….. 
#日誌顯示從節點參數 
[initandlisten] options: { dbpath: “/data/mongodbtest/slave”, slave: true, source: “192.168.0.1:27017″ } 
…….. 
[initandlisten] waiting for connections on port 27017 
#日誌顯示從節點 從主節點同步複製數據 
[replslave] repl: from host:192.168.0.1:27017

5. 測試主從複製。

在主節點上連接到終端:

  1. mongo 127.0.0.1  
  2.  
  3. #建立test 數據庫。  
  4. use test;  
  5.   
  6. 往testdb表插入數據。  
  7. > db.testdb.insert({"test1":"testval1"})  
  8.   
  9. 查詢testdb數據看看是否成功。  
  10. > db.testdb.find();  
  11. "_id" : ObjectId("5284e5cb1f4eb215b2ecc463"), "test1" : "testval1" }  
可以看到主機的同步日誌

[initandlisten] connection accepted from 192.168.0.2:37285 #3 (2 connections now open) 
[slaveTracking] update local.slaves query: { _id: ObjectId(’5284e6268ed115d6238bdb39′), config: { host: “192.168.0.2:35271″, upgradeNeeded: true }, ns: “local.oplog.$main” } update: { $set: { syncedTo: Timestamp 1384441570000|1 } } nscanned:1 nupdated:1 fastmod:1 keyUpdates:0 locks(micros) w:132015 132ms

檢查從主機的數據。

mongo 127.0.0.1

查看當前數據庫。 

  1. > show dbs;  
  2.   local   0.203125GB  
  3.   test    0.203125GB  
  4.   
  5. use test;  
  6. db.testdb.find();  
  7. "_id" : ObjectId("5284e5cb1f4eb215b2ecc463"), "test1" : "testval1" }  
查詢後數據已經同步過來了。再看看日誌,發現從主機確實從主機同步了數據。

  1. Thu Nov 14 23:05:13 [replslave] repl:   checkpoint applied 15 operations  
  2. Thu Nov 14 23:05:13 [replslave] repl:   syncedTo: Nov 14 23:08:10 5284e75a:1  
查看服務狀態

  1. > db.printReplicationInfo();  
  2.           this is a slave, printing slave replication info.  
  3.           source:   192.168.0.1:27017  
  4.               syncedTo: Sun Nov 17 2013 16:04:02 GMT+0800 (CST)  
  5.                       = -54 secs ago (-0.01hrs)  
到此主從結構的mongodb搭建好了。 

故障轉移測試
,現在兩臺服務器如果主服務器掛掉了,從服務器可以正常運轉嗎?

a. 先測試下從服務器可以當成主服務器嗎,也就是往從服務器裏寫能夠同步主服務器嗎?在192.168.0.2上連接mongodb。

  1. mongo 127.0.0.1:27017  
  2. > db.testdb.insert({"test3":"testval3"});  
  3. not master  
可以看到 mongodb的從節點是不能提供寫操作的,只能提供讀操作。

b. 如果從服務器掛掉,主服務器還可以提供服務。如果主服務器掛掉了從服務器能否自動變爲可寫。
測試一下!

先殺掉原來的mongodb主服務器。

  1. kill -3 `ps -ef|grep mongod|grep -v grep|awk '{print $2}'`  
測試從服務器能否可寫。在192.168.0.2上連接mongodb測試。

  1. > db.testdb.insert({"test3":"testval3"});  
  2. not master  

看起來從服務器沒有自動接替主服務器的功能,只有手工處理了!

停止從服務器,在原數據文件啓動並添加主服務器標示。

  1. mongod  --dbpath /data/mongodbtest/slave --master  
等到啓動成功(時間有點長)。在192.168.0.2 上 連接

  1. mongo 192.168.0.2:27017  
  1. > db.testdb.find();  
  2. "_id" : ObjectId("5288629e9b0318be4b20bd4c"), "test1" : "testval1" }  
  3. "_id" : ObjectId("528862d69b0318be4b20bd4d"), "test2" : "testval2" }  
成功! 

多個從節點。現在只是一個數據庫服務器又提供寫又提供讀,機器承載會出現瓶頸。大家還記得mysql裏的讀寫分離嗎?把20%的寫放到主節點,80%的讀放到從節點分攤了減少了服務器的負載。但是大部分應用都是讀操作帶來的壓力,一個從節點壓力負載不了,可以把一個從節點變成多個節點。那mongodb的一主多從可以支持嗎?答案是肯定的。 

 

爲了方便測試,在192.168.0.2上再建立一個文件夾 /data/mongodbtest/slave1 作爲另一個slave服務器。啓動slave2服務,

  1. mongod  --dbpath /data/mongodbtest/slave1 --slave  --port 27017 --source 192.168.0.1:27017。  
成功啓動後通過mongodb連接測試:

  1. > db.testdb.find();  
  2. "_id" : ObjectId("5288629e9b0318be4b20bd4c"), "test1" : "testval1" }  
  3. "_id" : ObjectId("528862d69b0318be4b20bd4d"), "test2" : "testval2" }  
搭建了這套主從複製系統是不是就很穩健了,其實不然。。。看看這幾個問題?

  • 主節點掛了能否自動切換連接?目前需要手工切換。
  • 主節點的寫壓力過大如何解決?
  • 從節點每個上面的數據都是對數據庫全量拷貝,從節點壓力會不會過大?
  • 就算對從節點路由實施路由訪問策略能否做到自動擴展?

還有這麼多問題,有其他解決方案嗎?請看下篇


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章