Mongodb安裝搭建Replica Set+Sharding集羣
一．簡介
Replica Set：複製在爲數據提供了冗餘同時，也提高了數據的可用性。由於在不同的數據庫服務器上擁有多個數據鏡像，複製可以有效的防止由於單臺服務器故障而導致的數據丟失。複製還能夠幫助我們從硬件故障或是服務中斷中恢復數據。複製集是由一組擁有相同數據集的 mongod 實例組成的。其中的一個節點爲主節點（Primary），所有的寫請求都是在它上面完成的。而其他的節點都是從節點（secondary），從節點接收從主節點上傳來的操作並應用，並以此來保證其與主節點的數據集一致。
Sharding：分片是使用多個機器存儲數據的方法,MongoDB使用分片以支持巨大的數據存儲量與對數據操作.。高數據量和吞吐量的數據庫應用會對單機的性能造成較大壓力,大的查詢量會將單機的CPU耗盡,大的數據量對單機的存儲壓力較大,最終會耗盡系統的內存而將壓力轉移到磁盤IO上。
Shard server：存儲實際數據分片。每個shard可以是一個mongod實例，也可以是一組mongod實例構成的replicasets爲了提供高可用性和數據的一致性，shard內部的故障自動切換，建議每個shard爲一組replica sets。
Config server：所有shard節點的配置信息，每個分片的shard key範圍，分片在各個shard的分佈情況，集羣中所有db和collection的sharding的配置信息。配置一個數據集存儲於那些分片中。
Router server：客戶端接入，先詢問配置服務器需要到那個shard上查詢或者保存記錄然後連接shard執行，最後返回結果給客戶端。分片羣集可以包含多個查詢路由器來劃分客戶端請求負載。客戶端發送請求給一個查詢的路由器。大多數分片集羣有很多查詢的路由器。
二．服務器以及服務信息
| 服務器 | Ip | 服務及端口 |
| CentosA | 10.255.4.200 | mongod shard1_1:27017 |
| mongod shard2_1:27018 | ||
| mongod config:20000 | ||
| Mongs:30000 | ||
| CentosB | 10.255.4.201 | mongod shard1_2:7017 |
| mongod shard2_2:7018 | ||
| mongod config:20000 | ||
| Mongs:30000 | ||
| centosC | 10.255.4.202 | mongod shard1_3:27017 |
| mongod shard2_3:27018 | ||
| mongod config:20000 | ||
| Mongs:30000 |
三．配置步驟和命令
1. 連接服務器
2. 建立數據和日誌的目錄
centosA:
mkdir -p /data/shard1_1
mkdir -p /data/shard2_1
mkdir -p /data/config
centosB:
mkdir -p /data/shard1_2
mkdir -p /data/shard2_2
mkdir -p /data/config
centosC:
mkdir -p /data/shard1_3
mkdir -p /data/shard2_3
mkdir -p /data/config
3. 安裝mongodb
CentosA:yum –y install mongodb*
centosB:yum –y install mongodb*
centosC:yum –y install mongodb*
4. 啓動分片mongod服務
centosA:
service mongod stop 停止已經啓動的服務，可能會佔用端口，導致後面報錯
mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data/shard1_1 --logpath /data/shard1_1/shard1_1.log --logappend --fork
mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data/shard2_1 --logpath /data/shard2_1/shard2_1.log --logappend --fork
centosB：
service mongod stop
mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data/shard1_2 --logpath /data/shard1_2/shard1_2.log --logappend --fork
mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data/shard2_2 --logpath /data/shard2_2/shard2_2.log --logappend –fork
centosC：
service mongod stop
mongod --shardsvr --replSet shard1 --port 27017 --dbpath /data/shard1_3 --logpath /data/shard1_3/shard1_3.log --logappend --fork
mongod --shardsvr --replSet shard2 --port 27018 --dbpath /data/shard2_3 --logpath /data/shard2_3/shard2_3.log --logappend –fork
5. 任意連接一臺centos配置分片和數據集
mongo --port 27017
config= = {_id:'shard1',members:[{_id:0,host:'10.255.4.200:27017'},{_id:1,host:'10.255.4.201:27017'},{_id:2,host:'10.255.4.202:27017'}]}
rs.initiate(config)
mongo --port 27018
config= = {_id:'shard2',members:[{_id:0,host:'10.255.4.200:27018'},{_id:1,host:'10.255.4.201:27018'},{_id:2,host:'10.255.4.202:27018'}]}
rs.initiate(config)
6. 啓動config mongod服務
CentosA:
mongod --configsvr --dbpath /data/config --port 20000 --logpath /data/config/config.log --logappend –fork
CentosB:
mongod --configsvr --dbpath /data/config --port 20000 --logpath /data/config/config.log --logappend --fork
CentosC:
mongod --configsvr --dbpath /data/config --port 20000 --logpath /data/config/config.log --logappend --fork
7. 啓動路由服務
centosA：
mongos --configdb 10.255.4.200:20000,10.255.4.201:20000,10.255.4.202:20000 --port 30000 --chunkSize 1 --logpath /data/mongos.log --logappend --fork
centosB：
mongos --configdb 10.255.4.200:20000,10.255.4.201:20000,10.255.4.202:20000 --port 30000 --chunkSize 1 --logpath /data/mongos.log --logappend --fork
centosC：
mongos --configdb 10.255.4.200:20000,10.255.4.201:20000,10.255.4.202:20000 --port 30000 --chunkSize 1 --logpath /data/mongos.log --logappend --fork
8．添加分片複製集，激活數據庫和表分片
use admin
db.runCommand({addshard:"shard1/10.255.4.200:27017,10.255.4.201:27017,10.255.4.202:27017"});
db.runCommand({addshard:"shard2/10.255.4.200:27018,10.255.4.201:27018,10.255.4.202:27018"});
db.runCommand({enablesharding:"test"})
db.runCommand({shardcollection:"test.users",key:{_id:1}})
9. 測試集羣分片結果
use test
for(var i=1;i<=200000;i++){db.users.insert({id:i,addr_1:"beijing",addr_2:"shenzhen"});}
db.users.stats()
如果得到如下結果，集羣就搭建好了。
{
"sharded" : true,
"paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",
"userFlags" : 1,
"capped" : false,
"ns" : "test.users",
"count" : 200000,
"numExtents" : 14,
"size" : 22400000,
"storageSize" : 45015040,
"totalIndexSize" : 6532624,
"indexSizes" : {
"_id_" : 6532624
},
"avgObjSize" : 112,
"nindexes" : 1,
"nchunks" : 41,
"shards" : {
"shard1" : {
"ns" : "test.users",
"count" : 97323,
"size" : 10900176,
"avgObjSize" : 112,
"numExtents" : 7,
"storageSize" : 22507520,
"lastExtentSize" : 11325440,
"paddingFactor" : 1,
"paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",
"userFlags" : 1,
"capped" : false,
"nindexes" : 1,
"totalIndexSize" : 3180464,
"indexSizes" : {
"_id_" : 3180464
},
"ok" : 1,
"$gleStats" : {
"lastOpTime" : Timestamp(0, 0),
"electionId" : ObjectId("55b8e2373dd78de0a20af2af")
}
},
"shard2" : {
"ns" : "test.users",
"count" : 102677,
"size" : 11499824,
"avgObjSize" : 112,
"numExtents" : 7,
"storageSize" : 22507520,
"lastExtentSize" : 11325440,
"paddingFactor" : 1,
"paddingFactorNote" : "paddingFactor is unused and unmaintained in 3.0. It remains hard coded to 1.0 for compatibility only.",
"userFlags" : 1,
"capped" : false,
"nindexes" : 1,
"totalIndexSize" : 3352160,
"indexSizes" : {
"_id_" : 3352160
},
"ok" : 1,
"$gleStats" : {
"lastOpTime" : Timestamp(0, 0),
"electionId" : ObjectId("55b8e272eb6c0b02db85986a")
}
}
},
"ok" : 1
}