SparkSession使用

介绍:SparkSession 是 Spark SQL 的入口。使用 Dataset 或者 Datafram 编写 Spark SQL 应用的时候,第一个要创建的对象就是 SparkSession。你可以通过 SparkSession.builder 来创建一个 SparkSession 的实例,并通过 stop 函数来停止 SparkSession。
例子:
import org.apache.spark.sql.SparkSession
val spark: SparkSession = SparkSession.builder
.appName(“My Spark Application”) // optional and will be autogenerated if not specified
.master(“local[*]”) // avoid hardcoding the deployment environment
.enableHiveSupport() // self-explanatory, isn’t it?
.config(“spark.sql.warehouse.dir”, “target/spark-warehouse”)
.getOrCreate

对象:: 在 SparkSession 的内部, 包含了SparkContext, SharedState,SessionState 几个对象。下表中介绍了每个对象的大体功能:在这里插入图片描述
方法与类: 这些方法包含了创建 DataSet, DataFrame, Streaming等。
在这里插入图片描述
Builder:Builder 是 SparkSession 的构造器。 通过 Builder, 可以添加各种配置。Builder 的方法如下:
在这里插入图片描述
例子如下
import org.apache.spark.sql.SparkSession
val spark: SparkSession = SparkSession.builder
.appName(“My Spark Application”) // optional and will be autogenerated if not specified
.master(“local[*]”) // avoid hardcoding the deployment environment
.enableHiveSupport() // self-explanatory, isn’t it?
.getOrCreate

ShareState:在这里插入图片描述通过设置 log4j.logger.org.apache.spark.sql.internal.SharedState=INFO 可以看到相应的日志。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章