文章目錄
1.爲什麼要建立索引?
假設MongoDB person集合裏包含插入了4個文檔,其存儲後位置信息如下(爲方便描述,文檔省去_id字段)
位置信息 | 文檔 |
---|---|
pos1 | {“name” : “jack”, “age” : 19 } |
pos2 | {“name” : “rose”, “age” : 20 } |
pos3 | {“name” : “jack”, “age” : 18 } |
pos4 | {“name” : “tony”, “age” : 21} |
pos5 | {“name” : “adam”, “age” : 18} |
假設現在有個查詢 db.person.find( {age: 18} ), 查詢所有年齡爲18歲的人,這時需要遍歷所有的文檔(『全表掃描』),根據位置信息讀出文檔,對比age字段是否爲18。當然如果只有4個文檔,全表掃描的開銷並不大,但如果集合文檔數量到百萬、甚至千萬上億的時候,對集合進行全表掃描開銷是非常大的,一個查詢耗費數十秒甚至幾分鐘都有可能。
如果想加速 db.person.find( {age: 18} ),就可以考慮對person表的age字段建立索引。
db.person.createIndex( {age: 1} ) //
按age字段創建升序索引
建立索引後,MongoDB會額外存儲一份按age字段升序排序的索引數據,索引結構類似如下,索引通常採用類似btree的結構持久化存儲,以保證從索引裏快速(O(logN)的時間複雜度)找出某個age值對應的位置信息,然後根據位置信息就能讀取出對應的文檔。
age | 位置信息 |
---|---|
18 | pos3 |
18 | pos5 |
19 | pos1 |
20 | pos2 |
21 | pos4 |
簡單的說,索引就是將文檔按照某個(或某些)字段順序組織起來,以便能根據該字段高效的查詢。有了索引,至少能優化如下場景的效率:
- 查詢,比如查詢年齡爲18的所有人
- 更新/刪除,將年齡爲18的所有人的信息更新或刪除,因爲更新或刪除時,需要根據條件先查詢出所有符合條件的文檔,所以本質上還是在優化查詢
- 排序,將所有人的信息按年齡排序,如果沒有索引,需要全表掃描文檔,然後再對掃描的結果進行排序
// 查詢集合的索引信息
mongo-9552:PRIMARY> db.person.getIndexes() // 查詢集合的索引信息
[
{
"ns" : "test.person", // 集合名
"v" : 1, // 索引版本
"key" : { // 索引的字段及排序方向
"_id" : 1 // 根據_id字段升序索引
},
"name" : "_id_" // 索引的名稱
}
]
2.索引的分類有哪些?
MongoDB支持多種類型的索引,包括單字段索引、複合索引、多key索引、文本索引等,每種類型的索引有不同的使用場合。
2.1 _id索引
_id索引是系統默認建立的索引,默認是按1(升序)。
衆所周知,MongoDB默認會爲插入的文檔生成_id字段(如果應用本身沒有指定該字段),_id是文檔唯一的標識,爲了保證能根據文檔id快遞查詢文檔,MongoDB默認會爲集合創建_id字段的索引。
2.2 單字段索引 (Single Field Index)
db.person.createIndex( {age: 1} )
上述語句針對age創建了單字段索引,其能加速對age字段的各種查詢請求,是最常見的索引形式,MongoDB默認創建的id索引也是這種類型。
{age: 1} 代表升序索引,也可以通過{age: -1}來指定降序索引,對於單字段索引,升序/降序效果是一樣的。
2.2 多鍵索引(Multikey Index)
當索引的字段爲數組時,創建出的索引稱爲多key索引,多key索引會爲數組的每個元素建立一條索引,比如person表加入一個habbit字段(數組)用於描述興趣愛好,需要查詢有相同興趣愛好的人就可以利用habbit字段的多key索引。
{"name" : "jack", "age" : 19, habbit: ["football, runnning"]}
db.person.createIndex( {habbit: 1} ) // 自動創建多key索引
db.person.find( {habbit: "football"} )
2.3 複合索引 (Compound Index)
複合索引是Single Field Index的升級版本,它針對多個字段聯合創建索引,先按第一個字段排序,第一個字段相同的文檔按第二個字段排序,依次類推,如下針對age, name這2個字段創建一個複合索引。
db.person.createIndex( {age: 1, name: 1} )
複合索引能滿足的查詢場景比單字段索引更豐富,不光能滿足多個字段組合起來的查詢,比如
db.person.find( {age: 18, name: “jack”} )
也能滿足所有能匹配符合索引前綴的查詢,這裏{age: 1}即爲{age: 1, name: 1}的前綴,所以類似db.person.find( {age: 18} )的查詢也能通過該索引來加速;但db.person.find( {name: “jack”} )則無法使用該複合索引。如果經常需要根據『name字段』以及『name和age字段組合』來查詢,則應該創建如下的複合索引
db.person.createIndex( {name: 1, age: 1} )
除了查詢的需求能夠影響索引的順序,字段的值分佈也是一個重要的考量因素,即使person集合所有的查詢都是『name和age字段組合』(指定特定的name和age),字段的順序也是有影響的。
age字段的取值很有限,即擁有相同age字段的文檔會有很多;而name字段的取值則豐富很多,擁有相同name字段的文檔很少;顯然先按name字段查找,再在相同name的文檔裏查找age字段更爲高效。
2.4 文本索引(Text Index)
《文本索引》
能解決快速文本查找的需求,比如有一個博客文章集合,需要根據博客的內容來快速查找,則可以針對博客內容建立文本索引。
2.5 哈希索引(Hashed Index)
指按照某個字段的hash值來建立索引,目前主要用於MongoDB Sharded Cluster的Hash分片,hash索引只能滿足字段完全匹配的查詢,不能滿足範圍查詢等。
2.6 地理位置索引(Geospatial Index)
能很好的解決O2O的應用場景,比如『查找附近的美食』、『查找某個區域內的車站』等。
2.7 其它索引
MongoDB除了支持多種不同類型的索引,還能對索引定製一些特殊的屬性。
- 唯一索引 (unique index):保證索引對應的字段不會出現相同的值,比如_id索引就是唯一索引
- TTL索引(過期索引):可以針對某個時間字段,指定文檔的過期時間(經過指定時間後過期 或 在某個時間點過期)
- 部分索引 (partial index): 只針對符合某個特定條件的文檔建立索引,3.2版本才支持該特性
- 稀疏索引(sparse index): 只針對存在索引字段的文檔建立索引,可看做是部分索引的一種特殊情況
3.索引優化
3.1 db profiler
MongoDB支持對DB的請求進行profiler,目前支持3種級別的profiler。
- 0: 不開啓profiling
- 1: 將處理時間超過某個閾值(默認100ms)的請求都記錄到DB下的system.profile集合 (類似於mysql、redis的slowlog)
- 2: 將所有的請求都記錄到DB下的system.profile集合(生產環境慎用)
通常,生產環境建議使用1級別的profiling,並根據自身需求配置合理的閾值,用於監測慢請求的情況,並及時的做索引優化。
如果能在集合創建的時候就能『根據業務查詢需求決定應該創建哪些索引』,當然是最佳的選擇;但由於業務需求多變,要根據實際情況不斷的進行優化。索引並不是越多越好,集合的索引太多,會影響寫入、更新的性能,每次寫入都需要更新所有索引的數據;所以你system.profile裏的慢請求可能是索引建立的不夠導致,也可能是索引過多導致。
3.2 查詢計劃
索引已經建立了,但查詢還是很慢怎麼破?這時就得深入的分析下索引的使用情況了,可通過查看下詳細的查詢計劃來決定如何優化。通過執行計劃可以看出如下問題
- 根據某個/些字段查詢,但沒有建立索引
- 根據某個/些字段查詢,但建立了多個索引,執行查詢時沒有使用預期的索引。
建立索引前,db.person.find( {age: 18} )必須執行COLLSCAN,即全表掃描。
常見stage的類型:
- COLLSCAN:全表掃描
- IXSCAN:索引掃描
- FETCH:根據索引去檢索指定document
- SHARD_MERGE:將各個分片返回數據進行merge
- SORT:表明在內存中進行了排序
mongo-9552:PRIMARY> db.person.find({age: 18}).explain()
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "test.person",
"indexFilterSet" : false,
"parsedQuery" : {
"age" : {
"$eq" : 18
}
},
"winningPlan" : {
"stage" : "COLLSCAN",
"filter" : {
"age" : {
"$eq" : 18
}
},
"direction" : "forward"
},
"rejectedPlans" : [ ]
},
"serverInfo" : {
"host" : "localhost",
"port" : 9552,
"version" : "3.2.3",
"gitVersion" : "b326ba837cf6f49d65c2f85e1b70f6f31ece7937"
},
"ok" : 1
}
建立索引後,通過查詢計劃可以看出,先進行IXSCAN(從索引中查找),然後FETCH,讀取出滿足條件的文檔。
mongo-9552:PRIMARY> db.person.find({age: 18}).explain()
{
"queryPlanner" : {
"plannerVersion" : 1,
"namespace" : "test.person",
"indexFilterSet" : false,
"parsedQuery" : {
"age" : {
"$eq" : 18
}
},
"winningPlan" : {
"stage" : "FETCH",
"inputStage" : {
"stage" : "IXSCAN",
"keyPattern" : {
"age" : 1
},
"indexName" : "age_1",
"isMultiKey" : false,
"isUnique" : false,
"isSparse" : false,
"isPartial" : false,
"indexVersion" : 1,
"direction" : "forward",
"indexBounds" : {
"age" : [
"[18.0, 18.0]"
]
}
}
},
"rejectedPlans" : [ ]
},
"serverInfo" : {
"host" : "localhost",
"port" : 9552,
"version" : "3.2.3",
"gitVersion" : "b326ba837cf6f49d65c2f85e1b70f6f31ece7937"
},
"ok" : 1
}
4. 索引管理
4.1 建立索引
db.users.createIndex({"name":1})
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : 1,
"numIndexesAfter" : 2,
"ok" : 1
}
給name,age字段創建組合索引
db.users.createIndex({"name":1,"age":1})
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : 3,
"numIndexesAfter" : 4,
"ok" : 1
}
在後臺給age字段創建索引
db.users.createIndex({age:1},{background:1})
{
"createdCollectionAutomatically" : false,
"numIndexesBefore" : 4,
"numIndexesAfter" : 5,
"ok" : 1
}
在後臺創建索引的原因:
在前臺創建索引期間會鎖定數據庫,會導致其它操作無法進行數據讀寫,在後臺創建索引是,會定期釋放寫鎖,從而保證其它操作的運行,但是後臺操作會在耗時更長,尤其是在頻繁進行寫入的服務器上。
4.2 查詢集合索引
MongoDB提供的查看索引信息的方法:
- getIndexes()方法可以用來查看集合的所有索引,
- getIndexKeys()方法查看索引鍵。
- totalIndexSize()查看集合索引的總大小,
- getIndexSpecs()方法查看集合各索引的詳細信息
例如 查看索引集合大小
db.getCollection('chongqing').totalIndexSize()
4.3 刪除集合索引
db.getCollection('chongqing').dropIndexes()
不再需要的索引,我們可以將其刪除,mongodb提供兩種刪除索引的方法:
- dropIndex(‘索引名’)方法用於刪除指定的索引
- dropIndexes()方法用於刪除全部的索引
例1:dropIndex()的用法
db.users.dropIndex("name_1")
{ "nIndexesWas" : 5, "ok" : 1 }
db.users.dropIndex("name_1_age_1")
{ "nIndexesWas" : 4, "ok" : 1 }
db.users.getIndexSpecs()
我們可以看到,name字段的索引和name與age字段的組合索引皆被刪除
例2:dropIndexes()的用法
db.users.dropIndexes()
{
"nIndexesWas" : 3,
"msg" : "non-_id indexes dropped for collection",
"ok" : 1
}
db.users.getIndexSpecs()
在使用了dropIndexes()方法後,我們之前建的所有索引都被刪除掉了
4.4 索引重建
我們之前把users的索引全部刪除了,現在在name字段上建立一個正序索引,然後在name字段上重建倒序索引,可以看到重建索引是把之前name字段的索引刪掉再新建一個索引的,重建之前name字段還是隻有一個索引.
db.users.createIndex({name:1})
db.users.reIndex({name:-1})