創建KeyValues對RDDS

map()函數 返回key/value
例如，包含數行數據的RDD，把每行數據的第一個單詞作爲keys
sc.textFile("/user/tast.txt").map(line=>(line.split(" ")(0),line))

KeyValues對的RDDS的transformations
example:{(1,2),(3,4),(3,6)}
reduceByKey :
作用：把相同key的value結合 . 
eg：rdd.reduceByKey((x,y)=>x+y)
result:{(1,2),(3,10)}

groupByKey:
作用：把相同的key的values分組
eg：rdd.groupByKey()
result:{(1,[2]),(3,[4,6])}

mapValues:
作用：函數作用於pairRDD的每個元素，key不變
eg:rdd.mapValues(x=>x+1)
result: {(1,3),(3,5),(3,7)}

flatMapValues:
作用：符號化的時候使用
eg：rdd.flatMapValues(x to 5)
result: {(1,2),(1,3),(1,4),(1,5),(3,4),(3,5)}

keys:
作用：用戶返回keys
eg：rdd.keys
result:{1,3,3}

values:
作用：返回values
eg:rdd.values 
result: {2,4,6}

sortByKey
作用：按照key排序的rdd
eg:rdd.sortByKey()
result: {(1,2),(3,4),(3,6)}

 

combineBykey():
遍歷partition中的元素，元素的key，要麼之前見過 要麼不是
如果是新元素 使用我們提供的createCombiner()函數
如果是這個partition已經存在的key就會使用mergeValue()函數
合計每個partition的結果的時候，使用mergeCombiners()