27 - Spark - glom算子

glom案例

1. 作用：将每一个分区形成一个数组，形成新的RDD类型时RDD[Array[T]]
2. 需求：创建一个4个分区的RDD，并将每个分区的数据放到一个数组

package com.dark.spark.SparkStudent.Spark_RDD

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Spark26 extends App {
  // 设定Spark计算环境
  val config: SparkConf = new SparkConf().setMaster("local[*]").setAppName("WordCount")

  // 创建上下文
  val sc = new SparkContext(config)

  private val listRDD: RDD[Int] = sc.makeRDD(1 to 16, 4)

  // 将一个分区的数据放到一个数组中
  private val glomRDD: RDD[Array[Int]] = listRDD.glom()

  glomRDD.collect().foreach(array=>{
    println(array.mkString(","))
  })

}

查看每个分区分配的数据，逗号分割

1,2,3,4
5,6,7,8
9,10,11,12
13,14,15,16