//service_prod_code字段類型爲array
val df_info = spark.sql(
"""
select
product, service_prod_code
from
tablename
""".stripMargin)
//使用explode會將原值中的null值刪除掉,就是說,如果原來的array值爲空的話,通過explode轉換後,會直接刪除掉這行數據,只保留array指不爲空的數據
val service_result = df_info.withColumn("service_explode", explode(col("service_prod_code")))
Spark的DataFrame中用explode將array數組轉換成多行
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章
在spark,MapReduce 或 Flink 程序裏面制定環境變量
梦里却知是客
2020-07-08 11:59:58
[Spark] 學習筆記 (一)
風の唄を聴け
2020-07-08 04:26:33
Spark系列:Spark學習筆記
路越
2020-07-08 12:17:40
Spark 線性迴歸模型異常
路越
2020-07-08 12:17:29
spark日常報錯問題-持續性更新
梦里却知是客
2020-07-08 11:59:58
pySpark DataFrame簡介
rosefunR
2020-07-08 09:36:34
Spark實現xgboost多分類(python)
rosefunR
2020-07-08 09:36:34
實戰|使用Spark結構化流寫入Hudi
吃鱼的羊
2020-07-08 05:50:47
Apache Hudi:統一批和近實時分析的存儲和服務
吃鱼的羊
2020-07-08 05:50:47
spark-sql使用hive的自定函數配置
大黄_sama
2020-07-08 05:08:59
Spark中DataFrame強制類型轉換
基咯咯
2020-07-08 04:49:41
[Spark] Spark/PySpark 的安裝及配置
風の唄を聴け
2020-07-08 04:26:33
MLlib主要概念之ML Pipelines
戎煜
2020-07-08 04:26:05