Spark在連接mongodb時，指定多個collection

在我們使用spark導入mongodb數據時， 如果只連接一個collection會這樣配置，其中igomoMemberInfo_Spark_input是我要連接的collection

        SparkSession.Builder builder =SparkSession.builder().master("local[*]").appName("SparkCalculateRecommend").
                config("spark.mongodb.input.uri", "mongodb://xm:[email protected]:27018/sns.igomoMemberInfo_Spark_input")
                .config("spark.mongodb.output.uri", "mongodb://xm:[email protected]:27018/sns.igomoMemberInfo_Spark_output")
                .config("spark.executor.memory", "512mb")

                .config("es.nodes", "192.168.53.92")
                .config("es.port", "9200")
                .config("es.nodes.wan.only", "true");

        SparkSession spark = builder.getOrCreate();

        JavaSparkContext jsc = new JavaSparkContext(spark.sparkContext());
        //使用Spark連接器載入sparkContext，獲取RDD對象
        JavaMongoRDD<Document> allRdd = MongoSpark.load(jsc);

以上地址均爲本人測試環境地址，因爲沒有商用價值 這裏不做保護處理了。

如果想連接多個collection，需要貼下如下代碼，其中challengeInfo是我要連接的collection

        Map<String, String> readOverrides = new HashMap<String, String>();
        readOverrides.put("collection", "challengeInfo");
        readOverrides.put("readPreference.name", "secondaryPreferred");
        ReadConfig readConfig = ReadConfig.create(jsc).withOptions(readOverrides);
        JavaMongoRDD<Document> secAllRdd = MongoSpark.load(jsc,readConfig);

 

如果想連接更多  ，只需要把上面這段代碼複製多份，就可以導入到spark中進行計算了。