pyspark join 出現重複列的問題

原創 sisiel 2020-06-14 02:00

設有兩個dataframe:df1,df2

如果df3=df1.join(df2,df1.device_number=df2.device_number,"inner")

df3就會出現兩個相同列 device_number

此時改成df3=df1.join(df2,“device_number”,"inner")

就只有一個device_number了

如果想多列key則

df.join(df4, ['name', 'age'])
發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Spark Python API函數：pyspark API(2)

文章目錄 •    1 sortBy •    2 glom •    3 cartesian •    4 groupBy •    5 pipe •    6 foreach •    7 foreachPartition •    

风中一叶(Liko) 2020-06-23 03:51:17

Pyspark:隨機森林

Building a Random Forests with PySpark Decision Tree Random Forests DecisionTree RF的基本組件DT(決策樹) 決策樹常用於分類和迴歸任務 En

今晚打佬虎 2020-06-07 17:09:19

Spark Python API函數：pyspark API(1)

风中一叶(Liko) 2020-02-25 18:08:03

Spark Python API函數：pyspark API(3)

风中一叶(Liko) 2020-02-25 18:08:03

VectorAssembler:java.lang.IllegalArgumentException: Data type string of column xx is not supported

sisiel 2020-02-23 04:39:40

pyspark Window 窗口函數

參考：Introducing Window Functions in Spark SQL 窗口函數 At its core, a window function calculates a return value for ever

NoOne-csdn 2020-07-07 22:37:37

spark讀取elasticsearch nested array

anton spark讀elasticsearch array anton elasticsearch數組 在Elasticsearch中，沒有專用的數組類型。默認情況下，任何字段都可以包含零個或多個值(數組中的所有值必須具有相同

Insightzen_xian 2020-07-07 22:21:01

博客目錄——Spark學習筆記

更新時間：2019-03-07 Python API 【PySpark學習筆記一】彈性分佈式數據集RDD 【PySpark學習筆記二】DataFrame用法 【PySpark學習筆記三】spark-submit詳解 Scala

roguesir 2020-07-07 01:31:07

Pyspark ValueError: Cannot run multiple SparkContexts at once 解決之道

pyspark執行可能就遇到問題 ValueError: Cannot run multiple SparkContexts at once; existing SparkContext(app=PySparkShell, master

JRighte 2020-07-06 17:59:34

spark構建迴歸模型

Spark機器學習第六章實現 加載數據集 數據集爲Bike-Sharing-Dataset path = "hdfs:///user/yy/Bike-Sharing-Dataset/hour_noheader.csv" raw_

YiyangJump 2020-07-06 13:47:14

pyspark dataframe 自定義分區器

def myp(x): return x % 100 pp = F.udf(myp) df = spark.range(900) df.show() df = df.repartitionByRange(pp('i

NoOne-csdn 2020-07-05 13:35:28

(待解決) java.io.EOFException: End of File Exception between local host

背景 spark 設置checkpoint 的地址爲阿里雲的hdfs 報錯 spark.sparkContext.setCheckpointDir('dfs://f***iyuncs.com:10290/test') 集羣

NoOne-csdn 2020-07-05 13:35:26

pyspark入門系列 - 02 pyspark.sql入口 SparkSession簡介與實踐

SparkSesson爲使用Dataset和DataFrame API編程Spark的入口點。 SparkSesson對象可以創建DataFrame，將Dataframe註冊爲表，並在表上執行SQL、緩存表、讀parquet文件等

铁甲大宝 2020-07-04 10:41:11

pyspark入門系列 - 03 pyspark.sql.DataFrame函數彙總與實踐

先放上pyspark.sql.DataFrame的函數彙總 from pyspark.sql import SparkSession spark = SparkSession.Builder().master('local')

铁甲大宝 2020-07-04 10:00:55

pyspark入門系列 --pyspark.sql.Column函數彙總與實戰

from pyspark.sql import SparkSession spark = SparkSession.Builder().master('local').appName('sparksqlColumn').getO

铁甲大宝 2020-07-04 10:00:55