二次排序具体实现步骤:
- 按照Ordered和serrializable接口实现自定义排序key
- 将要进行二次排序的文件假造进来生成<key,value>类型的RDD
- 使用sortbykey基于自定义的key进行二次排序
- 去除掉排序的key,只保留排序的结果
源码如下
import org.apache.spark.{SparkConf, SparkContext}
class SecondarySortKey(val first: Int, val second: Int) extends Ordered[SecondarySortKey] with Serializable {
def compare(other: SecondarySortKey): Int = {
if(this.first - other.first != 0){
this.first - other.first
}else{
this.second - other.second
}
}
}
object SecondarySortApp {
def main(args: Array[String]) {
val conf = new SparkConf()
.setAppName(s"${this.getClass.getSimpleName}")
.setMaster("local[*]")
val sc = new SparkContext(conf)
val keyWord = sc.textFile("")
val pariWithSortKey = keyWord.map(line => (
new SecondarySortKey(line.split("")(0).toInt, line.split("")(1).toInt), line
))
val sorted = pariWithSortKey.sortByKey(false)
val sortedResult = sorted.map(sortedLine => sortedLine._2)
sortedResult.collect().foreach(println)
}
}
Ordered和Ordering的区别
Ordering继承了java中的Comparator接口,而Ordered继承了java的Comparable接口。
而在java中的Comparator是一个外部比较器(需要定义一个类来实现比较器),而Comparable则是一个内部比较器,在类内部重载compareTo函数