spark 使用aggregateByKey 代替groupbyKey

性能調優中有個方案， 叫使用 aggregateBykey 代替 groupbykey， 爲啥呢？

應爲aggregateByKe，使用map-side預聚合的shuffle操作， 相當於再map端進行了聚合的操作，相當於mapreduce 中進行combiner     

 

介紹一下aggregateBykey這個方法

這裏面一共傳了三個 參數，這裏用到了柯里化 ，  我分別做一下參數介紹，教不懂的同學看下怎末看方法

zeroValue ： 這是傳個任意類型的初始值， 他的類型U你要注意, 因爲你最終返回的類型也必須是 這個類型U

seqOp(U,Int)  : 這個方法主要是做相同key再同一個partition 的聚合操作， 兩個參數(U,int) 第一個參數是你開始初始值U,第二個類型是數據的value的類型，   返回類型爲你 定義的zeroValue 的類型

combOp :  根據key 對不同分區的數據進行一個聚合操作(也就是對seqOp的結果做合併操作)，   連個參數(U,U)這兩個的類型都是你的 seqOp返回 類型，

這些信息其實都是可以從方法的定義中得到的，  注意看下我上面的截圖 

 

使用 aggregateByKey  代替groupbyKey  的demo

  val data=List((1,3),(1,2),(1,4),(2,3))
    val rdd=sc.parallelize(data )
    //合併不同partition中的值，a，b得數據類型爲zeroValue的數據類型
    def combOp(a:List[Int],b:List[Int]):List[Int] ={
      a ++ b
    }
    def seqOp(a:List[Int],b:Int):List[Int]={
        List(a(0)+b)
    }
 
    val aggregateByKeyRDD=rdd.aggregateByKey(List(0))(seqOp, combOp)
      aggregateByKeyRDD.foreach(println)
    val groupbykeyRDD=rdd.groupByKey()
     groupbykeyRDD.foreach(println)

這裏是運行的結果， 他們的都是一樣的