原创 Spark基礎編程API查看分區(defaultParallelism/partitions.size)

SparkContext中有默認的RDD的分區,當系統運行過程中,可以通過下列方式獲得scala> sc.defaultParallelismres10: Int = 8scala> otherRDD.partitions.sizeres