MongoDB 的簡單使用（PyMongo驅動）

MongoDB

MongoDB 是由 C++ 編寫的非關係型數據庫，是一個基於分佈式文件存儲的開源數據庫系統，其內容存儲形式類似 JSON 對象，它的字段值可以包含其他文檔、數組及文檔數組，非常靈活。

連接 MongoDB

PyMongo 庫安裝：在命令提示符中輸入 pip install pymongo

連接 MongoDB 時，可以使用 PyMongo 庫裏面的 MongoClient。一般來說，我們只需要向其傳入 MongoDB 的 IP 及端口即可，其中第一個參數爲地址 host，第二個參數爲端口 port（默認 27017）：

import pymongo

client = pymongo.MongoClient(host='localhost', port=27017)

這樣就創建了 MongoDB 的連接對象。

另外，MongoClient 的第一個參數 host 還可以直接傳入 MongoDB 的連接字符串：

client = pymongo.MongoClient('mongodb://localhost:27017/')

這可以達到同樣的連接效果。

指定數據庫

MongoDB 中可以建立多個數據庫，下面指定操作其中一個數據庫。這裏以 test 數據庫爲例：

db = client.test

這裏調用 client 的 test 屬性即可返回 test 數據庫。當然，我們也可以這樣指定：

db = client['test']

這兩種方式是等價的。

指定集合

MongoDB 的每個數據庫又包含許多集合（collection），它們類似於關係型數據庫中的表。

指定待操作的集合 students。與指定數據庫類似，指定集合也有兩種方式：

collection = db.students

或是

collection = db['students']

這樣便聲明瞭一個 Collection 對象。

插入數據

在 MongoDB 中，每條數據都有一個 _id 屬性來唯一標識。

下面使用 insert_one 方法來插入單條記錄：

# 此處對 students 集合新建一條數據，該數據以字典形式表示。
student = {
    'id': '20170101',
    'name': 'Jordan',
    'age': 20,
    'gender': 'male'
}

result = collection.insert_one(student) # insert_one 方法返回 InsertOneResult 對象
print(result)
print(result.inserted_id) # 調用 inserted_id 屬性獲取_id

運行結果如下：

<pymongo.results.InsertOneResult object at 0x10d68b558>
5932ab0f15c2606f0c1cf6c5

下面使用 insert_many 方法來插入多條記錄，此處可以將數據以列表形式傳遞：

student1 = {
    'id': '20170101',
    'name': 'Jordan',
    'age': 20,
    'gender': 'male'
}

student2 = {
    'id': '20170202',
    'name': 'Mike',
    'age': 21,
    'gender': 'male'
}

result = collection.insert_many([student1, student2]) # insert_many 方法返回的類型是 InsertManyResult
print(result)
print(result.inserted_ids) # 調用 inserted_ids 屬性獲取插入數據的 _id 列表

運行結果如下：

<pymongo.results.InsertManyResult object at 0x101dea558>
[ObjectId('5932abf415c2607083d3b2ac'), ObjectId('5932abf415c2607083d3b2ad')]

查詢

插入數據後，可以利用 find_one 或 find 方法進行查詢，其中 find_one 查詢得到的是單個結果，find 則返回一個生成器對象。

使用 find_one 方法查詢：

result = collection.find_one({'name': 'Mike'})
print(type(result))
print(result)

此處查詢 name 爲 Mike 的數據，它的返回結果是字典類型，運行結果如下：

<class 'dict'>
{'_id': ObjectId('5932a80115c2606a59e8a049'), 'id': '20170202', 'name': 'Mike', 'age': 21, 'gender': 'male'}

可以發現，它多了 _id 屬性，這是 MongoDB 在插入過程中自動添加的。

此外，我們也可以根據 ObjectId 來查詢，此時需要調用 bson 庫裏面的 objectid：

from bson.objectid import ObjectId

result = collection.find_one({'_id': ObjectId('593278c115c2602667ec6bae')})
print(result)

其查詢結果依然是字典類型，具體如下：

{'_id': ObjectId('593278c115c2602667ec6bae'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}

如果查詢結果不存在，則會返回 None。

對於多條數據的查詢，我們可以使用 find 方法：

results = collection.find({'age': 20})
print(results)
for result in results:
    print(result)

運行結果如下：

<pymongo.cursor.Cursor object at 0x1032d5128>
{'_id': ObjectId('593278c115c2602667ec6bae'), 'id': '20170101', 'name': 'Jordan', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('593278c815c2602678bb2b8d'), 'id': '20170102', 'name': 'Kevin', 'age': 20, 'gender': 'male'}
{'_id': ObjectId('593278d815c260269d7645a8'), 'id': '20170103', 'name': 'Harden', 'age': 20, 'gender': 'male'}

返回結果是 Cursor 類型，它相當於一個生成器，遍歷獲取的所有結果，其中每個結果都是字典類型。

如果要查詢年齡大於 20 的數據，則寫法如下：

results = collection.find({'age': {'$gt': 20}})

此處查詢的條件鍵值不是單純的數字，而是一個字典，其鍵名爲比較符號 $gt，意思是大於，鍵值爲 20。

比較符號：

符號	含義	示例
$lt	小於	{‘age’: {’$lt’: 20}}
$gt	大於	{‘age’: {’$gt’: 20}}
$lte	小於或等於	{‘age’: {’$lte’: 20}}
$gte	大於或等於	{‘age’: {’$gte’: 20}}
$ne	不等於	{‘age’: {’$ne’: 20}}
$in	在範圍內	{‘age’: {’$in’: [20, 23]}}
$nin	不在範圍內	{‘age’: {’$nin’: [20, 23]}}

另外，還可以進行正則匹配查詢：

此處查詢名字以 M 開頭的學生數據。

results = collection.find({'name': {'$regex': '^M.*'}})

此處使用 $regex 來指定正則匹配，^M.* 代表以 M 開頭的正則表達式。

功能符號：

符號	含義	示例	示例含義
$regex	匹配正則表達式	{‘name’: {’$regex’: '^M.*}}	name 以 M 開頭
$exists	屬性是否存在	{‘name’: {’$exists’: True}}	name 屬性存在
$type	類型判斷	{‘age’: {’$type’: ‘int’}	age 的類型爲 int
$mod	數字模操作	{‘age’: {’$mod’: [5, 0]}}	年齡模 5 餘 0
$text	文本查詢	{’$text’: {‘search’: ‘Mike’}}	text 類型的屬性中包含 Mike 字符串
$where	高級條件查詢	{’$where’: ‘obj.fans_ count== obj.follows_ count’}	自身粉絲數等於關注數

計數

要統計查詢結果有多少條數據，可以調用 count 方法。

此處統計所有數據條數：

count = collection.find().count()
print(count)

此外還可以統計符合某個條件的數據：

count = collection.find({'age': 20}).count()
print(count)

運行結果是一個數值，即符合條件的數據條數。

排序

排序時可以直接調用 sort 方法，並在其中傳入排序的字段及升降序標誌。

示例：

results = collection.find().sort('name', pymongo.ASCENDING)
print([result['name'] for result in results])

運行結果如下：

['Harden', 'Jordan', 'Kevin', 'Mark', 'Mike']

此處調用 pymongo.ASCENDING 指定升序。

如果要降序排列，可以傳入 pymongo.DESCENDING。

偏移

在某些情況下，可能只需要取某幾個元素，這時可以利用 skip 方法偏移幾個位置，比如偏移 2，就代表忽略前兩個元素，得到第 3 個及以後的元素：

results = collection.find().sort('name', pymongo.ASCENDING).skip(2)
print([result['name'] for result in results])

運行結果如下：

['Kevin', 'Mark', 'Mike']

另外還可以用 limit 方法指定要取的結果個數：

results = collection.find().sort('name', pymongo.ASCENDING).skip(2).limit(2)
print([result['name'] for result in results])

運行結果如下：

['Kevin', 'Mark']

如果不使用 limit 方法，原本會返回 3 個結果，加了限制後，就會截取兩個結果返回。

值得注意的是，在數據量非常龐大的時候，比如在查詢千萬、億級別的數據庫時，最好不要使用大的偏移量，因爲這樣很可能導致內存溢出。此時可以使用類似如下操作來查詢：

from bson.objectid import ObjectId
collection.find({'_id': {'$gt': ObjectId('593278c815c2602678bb2b8d')}})

這就需要記錄好上次查詢的 _id。

更新

對於數據更新，可以使用 update_one 方法和 update_many 方法，它們的第 2 個參數需要使用 $ 類型操作符作爲字典的鍵名。

首先指定查詢條件，然後將數據查詢出來，修改對應數據後調用 update 方法將原條件和修改後的數據傳入：

condition = {'name': 'Kevin'}
student = collection.find_one(condition)
student['age'] = 26
result = collection.update_one(condition, {'$set': student})
print(result)
print(result.matched_count, result.modified_count)

上面調用了 update_one 方法，第 2 個參數不能直接傳入修改後的字典，而是需要使用 {’$set’: student} 這樣的形式，其返回結果是 UpdateResult 類型。然後分別調用 matched_count 和 modified_count 屬性，可以獲得匹配的數據條數和影響的數據條數。

使用 $set 操作符對數據進行更新可以只更新 student 字典內存在的字段。如果原先還有其他字段，則不會更新，也不會刪除。

運行結果如下：

<pymongo.results.UpdateResult object at 0x10d17b678>
1 0

再看一個例子：

condition = {'age': {'$gt': 20}}
result = collection.update_one(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)

這裏指定查詢條件爲年齡大於 20，然後更新條件爲 {’$inc’: {‘age’: 1}}，表示年齡加 1，執行之後會將第一條符合條件的數據年齡加 1。

運行結果如下：

<pymongo.results.UpdateResult object at 0x10b8874c8>
1 1

可以看到匹配條數爲 1 條，影響條數也爲 1 條。

如果調用 update_many 方法，則會將所有符合條件的數據都更新：

condition = {'age': {'$gt': 20}}
result = collection.update_many(condition, {'$inc': {'age': 1}})
print(result)
print(result.matched_count, result.modified_count)

這時匹配條數就不再爲 1 條了，運行結果如下：

<pymongo.results.UpdateResult object at 0x10c6384c8>
3 3

此時所有匹配到的數據都會被更新。

刪除

刪除操作可以調用 delete_one 和 delete_many 方法，並指定刪除的條件，符合條件的所有數據均會被刪除。

示例：

result = collection.delete_one({'name': 'Kevin'})
print(result)
print(result.deleted_count)
result = collection.delete_many({'age': {'$lt': 25}})
print(result.deleted_count)

運行結果如下：

<pymongo.results.DeleteResult object at 0x10e6ba4c8>
1
4

delete_one 即刪除第一條符合條件的數據，delete_many 即刪除所有符合條件的數據。它們的返回結果都是 DeleteResult 類型，可以調用 deleted_count 屬性獲取刪除的數據條數。

其他操作

PyMongo 還提供了一些組合方法，如 find_one_and_delete、find_one_and_replace 和 find_one_and_update，它們分別用於查找後刪除、替換和更新操作，其使用方法與上述方法基本一致。

另外還可以對索引進行操作，相關方法有 create_index、create_indexes 和 drop_index 等。

PyMongo 官方文檔

Reference：https://kaiwu.lagou.com/course/courseInfo.htm?courseId=46#/detail/pc?id=1671

MongoDB 的簡單使用（PyMongo驅動）

MongoDB

連接 MongoDB

指定數據庫

指定集合

插入數據

查詢

計數

排序

偏移

更新

刪除

其他操作

【灰色系統】{0} —— 灰色系統簡介

【Python爬蟲】—— 多進程基本原理

【灰色系統】{1} —— 灰色系統的基本概念

【Python爬蟲】—— Web網頁基礎

【Python爬蟲】—— Session 與 Cookies

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結