文章目錄
概述
- 在SparkSQL中Spark爲我們提供了兩個新的抽象,分別是
DataFrame
和DataSet
。他們和RDD有什麼區別呢?
首先從版本的產生上來看:RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6)
- 如果同樣的數據都給到這三個數據結構,他們分別計算之後,都會給出相同的結果。不同是的他們的執行效率和執行方式。在後期的Spark版本中,
DataSet會逐步取代RDD和DataFrame成爲唯一的API接口
。
三者的共性
- RDD、DataFrame、Dataset全都是spark平臺下的分佈式彈性數據集,爲處理超大型數據提供便利
- 三者都有
惰性機制
,在進行創建、轉換,如map方法時,不會立即執行,只有在遇到Action如foreach時,三者纔會開始遍歷運算。 - 三者都會根據spark的內存情況自動緩存運算,這樣即使數據量很大,也不用擔心會內存溢出。
- 三者都有partition的概念
- 三者有許多共同的函數,如filter,排序等
- 在對DataFrame和Dataset進行操作許多操作都需要這個包進行支持
import spark.implicits._
- DataFrame和Dataset均可使用模式匹配獲取各個字段的值和類型
三者的區別
RDD
- RDD一般和spark mlib同時使用
- RDD不支持sparksql操作
DataFrame
- 與RDD和Dataset不同,DataFrame每一行的類型固定爲Row,每一列的值沒法直接訪問,只有通過解析才能獲取各個字段的值,如:
testDF.foreach{
line =>
val col1=line.getAs[String]("col1")
val col2=line.getAs[String]("col2")
}
- DataFrame與Dataset一般不與spark mlib同時使用
- DataFrame與Dataset均支持sparksql的操作,比如select,groupby之類,還能註冊臨時表/視窗,進行sql語句操作,如:
dataDF.createOrReplaceTempView("tmp")
spark.sql("select ROW,DATE from tmp where DATE is not null order by DATE").show(100,false)
- DataFrame與Dataset支持一些特別方便的保存方式,比如保存成csv,可以帶上表頭,這樣每一列的字段名一目瞭然
//保存
val saveoptions = Map("header" -> "true", "delimiter" -> "\t", "path" -> "hdfs://hadoop102:9000/test")
datawDF.write.format("com.atguigu.spark.csv").mode(SaveMode.Overwrite).options(saveoptions).save()
//讀取
val options = Map("header" -> "true", "delimiter" -> "\t", "path" -> "hdfs://hadoop102:9000/test")
val datarDF= spark.read.options(options).format("com.atguigu.spark.csv").load()
- 利用這樣的保存方式,可以方便的獲得字段名和列的對應,而且分隔符(delimiter)可以自由指定。
Dataset
- Dataset和DataFrame擁有完全相同的成員函數,區別只是每一行的數據類型不同。
- DataFrame也可以叫Dataset[Row],每一行的類型是Row,不解析,每一行究竟有哪些字段,各個字段又是什麼類型都無從得知,只能用上面提到的getAS方法或者共性中的第七條提到的模式匹配拿出特定字段。而Dataset中,每一行是什麼類型是不一定的,在自定義了case class之後可以很自由的獲得每一行的信息
case class Coltest(col1:String,col2:Int)extends Serializable //定義字段名和類型
/**
rdd
("a", 1)
("b", 1)
("a", 1)
**/
val test: Dataset[Coltest]=rdd.map{line=>
Coltest(line._1,line._2)
}.toDS
test.map{
line=>
println(line.col1)
println(line.col2)
}
- 可以看出,Dataset在需要訪問列中的某個字段時是非常方便的,然而,如果要寫一些適配性很強的函數時,如果使用Dataset,行的類型又不確定,可能是各種case class,無法實現適配,這時候用DataFrame即Dataset[Row]就能比較好的解決問題
RDD轉換爲DateFrame
注意:如果需要RDD與DF或者DS之間操作,那麼都需要引入 import spark.implicits._ 【spark不是包名,而是sparkSession對象的名稱】
前置條件:導入隱式轉換並創建一個RDD
scala> import spark.implicits._
scala> val peopleRDD = sc.textFile("examples/src/main/resources/people.txt")
peopleRDD: org.apache.spark.rdd.RDD[String] = examples/src/main/resources/people.txt MapPartitionsRDD[3] at textFile at <console>:27
通過手動確定轉換
scala> peopleRDD.map{x=>val para = x.split(",");(para(0),para(1).trim.toInt)}.toDF("name","age")
res1: org.apache.spark.sql.DataFrame = [name: string, age: int]
通過反射確定(需要用到樣例類)
- 創建一個樣例類
scala> case class People(name:String, age:Int)
- 根據樣例類將RDD轉換爲DataFrame
scala> peopleRDD.map{ x => val para = x.split(",");People(para(0),para(1).trim.toInt)}.toDF
res2: org.apache.spark.sql.DataFrame = [name: string, age: int]
通過編程的方式(瞭解)
- 導入所需的類型
scala> import org.apache.spark.sql.types._
import org.apache.spark.sql.types._
- 創建Schema
scala> val structType: StructType = StructType(StructField("name", StringType) :: StructField("age", IntegerType) :: Nil)
structType: org.apache.spark.sql.types.StructType = StructType(StructField(name,StringType,true), StructField(age,IntegerType,true))
- 導入所需的類型
scala> import org.apache.spark.sql.Row
import org.apache.spark.sql.Row
- 根據給定的類型創建二元組RDD
scala> val data = peopleRDD.map{ x => val para = x.split(",");Row(para(0),para(1).trim.toInt)}
data: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[6] at map at <console>:33
- 根據數據及給定的schema創建DataFrame
scala> val dataFrame = spark.createDataFrame(data, structType)
dataFrame: org.apache.spark.sql.DataFrame = [name: string, age: int]
DateFrame轉換爲RDD
直接調用rdd即可
- 創建一個DataFrame
scala> val df = spark.read.json("/opt/module/spark/examples/src/main/resources/people.json")
df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
- 將DataFrame轉換爲RDD
scala> val dfToRDD = df.rdd
dfToRDD: org.apache.spark.rdd.RDD[org.apache.spark.sql.Row] = MapPartitionsRDD[19] at rdd at <console>:29
- 打印RDD
scala> dfToRDD.collect
res13: Array[org.apache.spark.sql.Row] = Array([Michael, 29], [Andy, 30], [Justin, 19])
DataSet
Dataset是具有強類型的數據集合,需要提供對應的類型信息。
創建
- 創建一個樣例類
scala> case class Person(name: String, age: Long)
defined class Person
- 創建DataSet
scala> val caseClassDS = Seq(Person("Andy", 32)).toDS()
caseClassDS: org.apache.spark.sql.Dataset[Person] = [name: string, age: bigint]
RDD轉換爲DataSet
SparkSQL能夠自動將包含有case類的RDD轉換成DataFrame,case類定義了table的結構,case類屬性通過反射變成了表的列名。
- 創建一個RDD
scala> val peopleRDD = sc.textFile("examples/src/main/resources/people.txt")
peopleRDD: org.apache.spark.rdd.RDD[String] = examples/src/main/resources/people.txt MapPartitionsRDD[3] at textFile at <console>:27
- 創建一個樣例類
scala> case class Person(name: String, age: Long)
defined class Person
- 將RDD轉化爲DataSet
scala> peopleRDD.map(line => {val para = line.split(",");Person(para(0),para(1).trim.toInt)}).toDS()
DataSet轉換爲RDD
調用rdd方法即可
- 創建一個DataSet
scala> val DS = Seq(Person("Andy", 32)).toDS()
DS: org.apache.spark.sql.Dataset[Person] = [name: string, age: bigint]
- 將DataSet轉換爲RDD
scala> DS.rdd
res11: org.apache.spark.rdd.RDD[Person] = MapPartitionsRDD[15] at rdd at <console>:28
DataFrame與DataSet的互操作
DataFrame轉換爲DataSet
- 創建一個DateFrame
scala> val df = spark.read.json("examples/src/main/resources/people.json")
df: org.apache.spark.sql.DataFrame = [age: bigint, name: string]
- 創建一個樣例類
scala> case class Person(name: String, age: Long)
defined class Person
- 將DateFrame轉化爲DataSet
scala> df.as[Person]
res14: org.apache.spark.sql.Dataset[Person] = [age: bigint, name: string]
DataSet轉換爲DataFrame
- 創建一個樣例類
scala> case class Person(name: String, age: Long)
defined class Person
- 創建DataSet
scala> val ds = Seq(Person("Andy", 32)).toDS()
ds: org.apache.spark.sql.Dataset[Person] = [name: string, age: bigint]
- 將DataSet轉化爲DataFrame
scala> val df = ds.toDF
df: org.apache.spark.sql.DataFrame = [name: string, age: bigint]
DataSet轉DataFrame
這個很簡單,因爲只是把case class封裝成Row
- 導入隱式轉換
import spark.implicits._
- 轉換
val testDF = testDS.toDF
DataFrame轉DataSet
- 導入隱式轉換
import spark.implicits._
- 創建樣例類
case class Coltest(col1:String,col2:Int)extends Serializable //定義字段名和類型
- 轉換
val testDS = testDF.as[Coltest]
這種方法就是在給出每一列的類型後,使用as方法,轉成Dataset,這在數據類型是DataFrame又需要針對各個字段處理時極爲方便。在使用一些特殊的操作時,一定要加上 import spark.implicits._ 不然toDF、toDS無法使用。
API相關練習
object SparkSQL02 {
def main(args: Array[String]): Unit = {
//初始化spark配置信息並建立與spark連接
val sparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkSQL02")
val spark: SparkSession = SparkSession.builder().config(sparkConf).getOrCreate()
//這裏的Spark不是包名的含義,是SparkSession對象
import spark.implicits._
//創建RDD
val rdd: RDD[(Int,String,Int)] = spark.sparkContext.makeRDD(List((1,"zhangsan",20),(2,"lisi",30),(3,"wangwu",40)))
//轉換爲DF
val df: DataFrame = rdd.toDF("id","name","age")
//轉換爲DS
val ds:Dataset[User] = df.as[User]
//轉換爲DF
val df1:DataFrame = ds.toDF()
//轉換爲RDD
val rdd1: RDD[Row] = df1.rdd
rdd1.foreach(row=>{
println(row.getString(1))
})
spark.stop()
}
}
case class User(id:Int,name:String,age:Int)
你知道的越多,你不知道的越多。
有道無術,術尚可求,有術無道,止於術。
如有其它問題,歡迎大家留言,我們一起討論,一起學習,一起進步