mongo單表大量數據的讀取

重要提示:建議不要直接使用find方法

下面是讀取方法筆記:(python 語言 爲主)

1. 使用batch_size 方法

可以在不大於16M的情況下,批量返回數據
**但是**在數據超過幾千萬的情況下,加載會導致遊標超時,棧溢出等問題
建議千萬級別在考慮服務器性能的情況下使用。

2. 使用索引切片的方法

通過pymongo 手冊可以看到:
在這裏插入圖片描述
可以避免上述一的問題。

3. 使用mongo工具,將單表導出json文件或者csv文件

這種方法,比上述兩種方法速度都快,唯一遺憾的是:只能將數據傳送到一個文件裏。
相對比前面兩種方法,
上億數據只用1天多時間,而前面的時間則會很慢。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章