22 - Spark - map 算子

RDD的轉換

RDD整體上分爲Value類型和Key-Value類型

map(func)案例

1. 作用：返回一個新的RDD，該RDD由每一個輸入元素經過func函數轉換後組成
2. 需求：創建一個1-10數組的RDD，將所有元素*2形成新的RDD

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object Spark22 extends App {
  // 設定Spark計算環境
  val config: SparkConf = new SparkConf().setMaster("local[1]").setAppName("WordCount")

  // 創建上下文
  val sc = new SparkContext(config)

  private val listRDD: RDD[Int] = sc.makeRDD(1 to 10)

  private val mapRDD: RDD[Int] = listRDD.map(x => x * 2)

  mapRDD.collect().foreach(println)

}

2
4
6
8
10
12
14
16
18
20