Why Spark with MongoDB?
- 高性能,官方號稱 100x faster,因爲可以全內存運行,性能提升肯定是很明顯的
- 簡單易用,支持 Java、Python、Scala、SQL 等多種語言,使得構建分析應用非常簡單
- 統一構建 ,支持多種數據源,通過 Spark RDD 屏蔽底層數據差異,同一個分析應用可運行於不同的數據源;
- 應用場景廣泛,能同時支持批處理以及流式處理
MongoDB Spark Connector 爲官方推出,用於適配 Spark 操作 MongoDB 數據;本文以 Python 爲例,介紹 MongoDB Spark Connector 的使用,幫助你基於 MongoDB 構建第一個分析應用。
準備 MongoDB 環境
安裝 MongoDB 參考 Install MongoDB Community Ed