mongo單表大量數據的讀取
重要提示:建議不要直接使用find方法
下面是讀取方法筆記:(python 語言 爲主)
1. 使用batch_size 方法
可以在不大於16M的情況下,批量返回數據
**但是**在數據超過幾千萬的情況下,加載會導致遊標超時,棧溢出等問題
建議千萬級別在考慮服務器性能的情況下使用。
2. 使用索引切片的方法
通過pymongo 手冊可以看到:
可以避免上述一的問題。
3. 使用mongo工具,將單表導出json文件或者csv文件
這種方法,比上述兩種方法速度都快,唯一遺憾的是:只能將數據傳送到一個文件裏。
相對比前面兩種方法,
上億數據只用1天多時間,而前面的時間則會很慢。