DataFrame registerTempTable(注册临时表)后Table Not Found问题的解决

DataFrame registerTempTable(注册临时表)后Table Not Found问题的解决

将数据存成数据集的方式是实现数据各种操作非常有效的一种方式。也能够迅速实现数据的导入与导出。

Spark DataFrame提供了registerTempTable这样的接口,可以将数据对象存成临时表,便于后续的各种查询操作等。如select, join等。

以前都是直接从数据中读入数据,生成一个dataframe对象,都没有遇到 table not found的问题。然而今天用手工创建的时候,总是会报这个错误。

 

 

经过查资料,才发现由于自己的dataframe是用SQLContext创建的,而用HiveContext是无法访问的。这就涉及到registerTempTable生命周期的问题,以前都没细看,其生命周期只在所定义的sqlContext或hiveContext实例之中。换而言之,在一个sqlontext(或hiveContext)中registerTempTable的表不能在另一个sqlContext(或hiveContext)中使用。

因此,HiveContext来创建DataFrame就没有问题。成功解决。

val spark=new HiveContext(sc)
//调用下述的方法,三张虚拟表已经驻留在内存中了,后续的程序直接使用即可
val sql1 = new HiveContext(sc)
MockData.mock(spark.sparkContext,sql1)

//测试:访问user_visit_action虚拟表中的数据
sql1.sql("select * from product_info").show(100)

 

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章