〇、聲明
Spark中可以運行numpy和pandas程序，只要你裝了
一、爲什麼要將用了pandas.dataframe的程序改爲Spark中的dataframe
前者只能單機運行，後者可以集羣運行
二、對比
直接跳轉這篇博文《Spark與Pandas中DataFrame對比》，寫的很好
三、轉化
| spark —> pandas | pandas —> spark |
|---|---|
| pandas_df = spark_df.toPandas() | spark_df = spark.createDataFrame(pandas_df) |
由於pandas的方式是單機版的，即toPandas()的方式是單機版的，改成分佈式版本：
import pandas as pd
def _map_to_pandas(rdds):
return [pd.DataFrame(list(rdds))]
def topas(df, n_partitions=None):
if n_partitions is not None: df = df.repartition(n_partitions)
df_pand = df.rdd.mapPartitions(_map_to_pandas).collect()
df_pand = pd.concat(df_pand)
df_pand.columns = df.columns
return df_pand
pandas_df = topas(spark_df)
參考博文：
《spark跟pandas數據轉換》
《pandas和spark的dataframe互轉》