27 - Spark - glom算子

glom案例

1. 作用：將每一個分區形成一個數組，形成新的RDD類型時RDD[Array[T]]
2. 需求：創建一個4個分區的RDD，並將每個分區的數據放到一個數組

package com.dark.spark.SparkStudent.Spark_RDD

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Spark26 extends App {
  // 設定Spark計算環境
  val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")

  // 創建上下文
  val sc = new SparkContext(config)

  private val listRDD: RDD[Int] = sc.makeRDD(1 to 16, 4)

  // 將一個分區的數據放到一個數組中
  private val glomRDD: RDD[Array[Int]] = listRDD.glom()

  glomRDD.collect().foreach(array=>{
    println(array.mkString(","))
  })

}

查看每個分區分配的數據，逗號分割

1,2,3,4
5,6,7,8
9,10,11,12
13,14,15,16