pyspark 操作

1. 日期轉時間戳

spark_df_from_csv = spark.read.csv('/data1/AIPlatform/look_order_cross_city_new_deepfm_0116_0130_origin.csv', header=True)

spark_df_from_csv = spark_df_from_csv.withColumn('parsed_log_time', spark_df_from_csv['parsed_log_time'].cast("timestamp"))

spark_df_from_csv = spark_df_from_csv.withColumn('parsed_log_time', F.unix_timestamp(spark_df_from_csv['parsed_log_time']))

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章