第5章 精通pandas合并操作（使用pandas进行数据分析，从小白逆袭大神，你会了吗？）

原創 五角钱的程序员 2020-05-20 04:10

文章目录

第5章 合并

import numpy as np
import pandas as pd
df = pd.read_csv('data/table.csv')
df.head()

在这里插入图片描述

一、append与assign

1. append方法

（a）利用序列添加行（必须指定name）

df_append = df.loc[:3,['Gender','Height']].copy()
df_append

在这里插入图片描述

s = pd.Series({'Gender':'F','Height':188},name='new_row')
df_append.append(s)

在这里插入图片描述
（b）用DataFrame添加表

df_temp = pd.DataFrame({'Gender':['F','M'],'Height':[188,176]},index=['new_1','new_2'])
df_append.append(df_temp)

在这里插入图片描述

2. assign方法

该方法主要用于添加列，列名直接由参数指定：

s = pd.Series(list('abcd'),index=range(4))
df_append.assign(Letter=s)

在这里插入图片描述
可以一次添加多个列：

df_append.assign(col1=lambda x:x['Gender']*2,
                 col2=s)

在这里插入图片描述

二、combine与update

1. comine方法

comine和update都是用于表的填充函数，可以根据某种规则填充

（a）填充对象

可以看出combine方法是按照表的顺序轮流进行逐列循环的，而且自动索引对齐，缺失值为NaN，理解这一点很重要

df_combine_1 = df.loc[:1,['Gender','Height']].copy()
df_combine_1
df_combine_2 = df.loc[10:11,['Gender','Height']].copy()
df_combine_1.combine(df_combine_2,lambda x,y:print(x,y))

在这里插入图片描述
（b）一些例子

例①：根据列均值的大小填充

# 例子1
df1 = pd.DataFrame({'A': [1, 2], 'B': [3, 4]})
df2 = pd.DataFrame({'A': [8, 7], 'B': [6, 5]})
df1.combine(df2,lambda x,y:x if x.mean()>y.mean() else y)

在这里插入图片描述
例②：索引对齐特性（默认状态下，后面的表没有的行列都会设置为NaN）

df2 = pd.DataFrame({'B': [8, 7], 'C': [6, 5]},index=[1,2])
df1.combine(df2,lambda x,y:x if x.mean()>y.mean() else y)

在这里插入图片描述
例④：在新增匹配df2的元素位置填充-1

df1.combine(df2,lambda x,y:x if x.mean()>y.mean() else y,fill_value=-1)

在这里插入图片描述
（c）combine_first方法

这个方法作用是用df2填补df1的缺失值，功能比较简单，但很多时候会比combine更常用，下面举两个例子：

df1 = pd.DataFrame({'A': [None, 0], 'B': [None, 4]})
df2 = pd.DataFrame({'A': [1, 1], 'B': [3, 3]})
df1.combine_first(df2)

在这里插入图片描述

df1 = pd.DataFrame({'A': [None, 0], 'B': [4, None]})
df2 = pd.DataFrame({'B': [3, 3], 'C': [1, 1]}, index=[1, 2])
df1.combine_first(df2)

在这里插入图片描述

2. update方法

（a）三个特点

①返回的框索引只会与被调用框的一致（默认使用左连接，下一节会介绍）

②第二个框中的nan元素不会起作用

③没有返回值，直接在df上操作

（b）例子

例①：索引完全对齐情况下的操作

df1 = pd.DataFrame({'A': [1, 2, 3],
                    'B': [400, 500, 600]})
df2 = pd.DataFrame({'B': [4, 5, 6],
                    'C': [7, 8, 9]})
df1.update(df2)
df1

在这里插入图片描述
例②：部分填充

df1 = pd.DataFrame({'A': ['a', 'b', 'c'],
                    'B': ['x', 'y', 'z']})
df2 = pd.DataFrame({'B': ['d', 'e']}, index=[1,2])
df1.update(df2)
df1

在这里插入图片描述
例③：缺失值不会填充

df1 = pd.DataFrame({'A': [1, 2, 3],
                    'B': [400, 500, 600]})
df2 = pd.DataFrame({'B': [4, np.nan, 6]})
df1.update(df2)
df1

在这里插入图片描述

三、concat方法

concat方法可以在两个维度上拼接，默认纵向凭借（axis=0），拼接方式默认外连接

所谓外连接，就是取拼接方向的并集，而’inner’时取拼接方向（若使用默认的纵向拼接，则为列的交集）的交集

下面举一些例子说明其参数：

df1 = pd.DataFrame({'A': ['A0', 'A1'],
                    'B': ['B0', 'B1']},
                    index = [0,1])
df2 = pd.DataFrame({'A': ['A2', 'A3'],
                    'B': ['B2', 'B3']},
                    index = [2,3])
df3 = pd.DataFrame({'A': ['A1', 'A3'],
                    'D': ['D1', 'D3'],
                    'E': ['E1', 'E3']},
                    index = [1,3])

默认状态拼接：

pd.concat([df1,df2])

在这里插入图片描述
axis=1时沿列方向拼接：

pd.concat([df1,df2],axis=1)

在这里插入图片描述
join设置为内连接（由于axis=0，因此列取交集）：

pd.concat([df3,df1],join='inner')

在这里插入图片描述
join设置为外链接：

 pd.concat([df3,df1],join='outer',sort=True) #sort设置列排序，默认为False

在这里插入图片描述
verify_integrity检查列是否唯一：

# pd.concat([df3,df1],verify_integrity=True,sort=True)  #报错

同样，可以添加Series：

s = pd.Series(['X0', 'X1'], name='X')
pd.concat([df1,s],axis=1)

在这里插入图片描述
key参数用于对不同的数据框增加一个标号，便于索引：

pd.concat([df1,df2], keys=['x', 'y'])
pd.concat([df1,df2], keys=['x', 'y']).index

在这里插入图片描述

四、merge与join

1. merge函数

merge函数的作用是将两个pandas对象横向合并，遇到重复的索引项时会使用笛卡尔积，默认inner连接，可选left、outer、right连接

所谓左连接，就是指以第一个表索引为基准，右边的表中如果不再左边的则不加入，如果在左边的就以笛卡尔积的方式加入

merge/join与concat的不同之处在于on参数，可以指定某一个对象为key来进行连接

同样的，下面举一些例子：

left = pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],
                     'key2': ['K0', 'K1', 'K0', 'K1'],
                      'A': ['A0', 'A1', 'A2', 'A3'],
                      'B': ['B0', 'B1', 'B2', 'B3']}) 
right = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],
                      'key2': ['K0', 'K0', 'K0', 'K0'],
                      'C': ['C0', 'C1', 'C2', 'C3'],
                      'D': ['D0', 'D1', 'D2', 'D3']})
right2 = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],
                      'key2': ['K0', 'K0', 'K0', 'K0'],
                      'C': ['C0', 'C1', 'C2', 'C3']})

pd.merge(left, right, on='key1')

在这里插入图片描述
以多组键连接：

pd.merge(left, right, on='key1')

在这里插入图片描述
以多组键连接：

pd.merge(left, right, on=['key1','key2'])

在这里插入图片描述
默认使用inner连接，因为merge只能横向拼接，所以取行向上keys的交集，下面看如果使用how=outer参数

注意：这里的how就是concat的join

pd.merge(left, right, how='outer', on=['key1','key2'])

在这里插入图片描述
左连接：

pd.merge(left, right, how='left', on=['key1', 'key2'])

在这里插入图片描述
右连接：

pd.merge(left, right, how='right', on=['key1', 'key2'])

在这里插入图片描述

如果还是对笛卡尔积不太了解，请务必理解下面这个例子，由于B的所有元素为2，因此需要6行：

left = pd.DataFrame({'A': [1, 2], 'B': [2, 2]})
right = pd.DataFrame({'A': [4, 5, 6], 'B': [2, 2, 2]})
pd.merge(left, right, on='B', how='outer')

在这里插入图片描述
validate检验的是到底哪一边出现了重复索引，如果是“one_to_one”则两侧索引都是唯一，如果"one_to_many"则左侧唯一

left = pd.DataFrame({'A': [1, 2], 'B': [2, 2]})
right = pd.DataFrame({'A': [4, 5, 6], 'B': [2, 3, 4]})
#pd.merge(left, right, on='B', how='outer',validate='one_to_one') #报错

left = pd.DataFrame({'A': [1, 2], 'B': [2, 1]})
pd.merge(left, right, on='B', how='outer',validate='one_to_one')

在这里插入图片描述
indicator参数指示了，合并后该行索引的来源

df1 = pd.DataFrame({'col1': [0, 1], 'col_left': ['a', 'b']})
df2 = pd.DataFrame({'col1': [1, 2, 2], 'col_right': [2, 2, 2]})
pd.merge(df1, df2, on='col1', how='outer', indicator=True) #indicator='indicator_column'也是可以的

在这里插入图片描述

2. join函数

join函数作用是将多个pandas对象横向拼接，遇到重复的索引项时会使用笛卡尔积，默认左连接，可选inner、outer、right连接

left = pd.DataFrame({'A': ['A0', 'A1', 'A2'],
                     'B': ['B0', 'B1', 'B2']},
                    index=['K0', 'K1', 'K2'])
right = pd.DataFrame({'C': ['C0', 'C2', 'C3'],
                      'D': ['D0', 'D2', 'D3']},
                    index=['K0', 'K2', 'K3'])
left.join(right)

在这里插入图片描述
对于many_to_one模式下的合并，往往join更为方便

同样可以指定key：

left = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
                     'B': ['B0', 'B1', 'B2', 'B3'],
                     'key': ['K0', 'K1', 'K0', 'K1']})
right = pd.DataFrame({'C': ['C0', 'C1'],
                      'D': ['D0', 'D1']},
                     index=['K0', 'K1'])
left.join(right, on='key')

在这里插入图片描述
多层key：

left = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],
                     'B': ['B0', 'B1', 'B2', 'B3'],
                     'key1': ['K0', 'K0', 'K1', 'K2'],
                     'key2': ['K0', 'K1', 'K0', 'K1']})
index = pd.MultiIndex.from_tuples([('K0', 'K0'), ('K1', 'K0'),
                                   ('K2', 'K0'), ('K2', 'K1')],names=['key1','key2'])
right = pd.DataFrame({'C': ['C0', 'C1', 'C2', 'C3'],
                      'D': ['D0', 'D1', 'D2', 'D3']},
                     index=index)
left.join(right, on=['key1','key2'])

在这里插入图片描述

代码和数据地址：https://github.com/XiangLinPro/pandas

另外博主收藏这些年来看过或者听过的一些不错的常用的上千本书籍，没准你想找的书就在这里呢，包含了互联网行业大多数书籍和面试经验题目等等。有人工智能系列（常用深度学习框架TensorFlow、pytorch、keras。NLP、机器学习，深度学习等等），大数据系列(Spark,Hadoop,Scala,kafka等)，程序员必修系列（C、C++、java、数据结构、linux，设计模式、数据库等等）以下是部分截图

更多文章见本原创微信公众号「五角钱的程序员」，我们一起成长，一起学习。一直纯真着，善良着，温情地热爱生活。关注回复【电子书】即可领取哦。

在这里插入图片描述

在这里插入图片描述

所有巧合的是要么是上天注定要么是一个人偷偷的在努力。

有收获？希望老铁们来个三连击，给更多的人看到这篇文章

1、给俺点个赞呗，可以让更多的人看到这篇文章，谢谢各位亲。

2、亲们，关注我的原创微信公众号「五角钱的程序员」，我们一起成长，一起学习。一直纯真着，善良着，温情地热爱生活。关注回复【电子书】有很多资源哦。

给大家推荐一个Github,上面非常非常多的干货：https://github.com/XiangLinPro/IT_book

There’s much positivity as well as negativity in life. The key to one’s happiness is to seize those positive moments and enrich them,to convert those negative moments and remove them.

生命中有很多正向时刻，也有很多负向时刻。一个人快乐的秘诀，就是抓住那些正向时刻，使它更充盈；转化负向的时刻，使它得到清洗。

关于Datawhale

Datawhale是一个专注于数据科学与AI领域的开源组织，汇集了众多领域院校和知名企业的优秀学习者，聚合了一群有开源精神和探索精神的团队成员。Datawhale以“for the learner，和学习者一起成长”为愿景，鼓励真实地展现自我、开放包容、互信互助、敢于试错和勇于担当。同时Datawhale 用开源的理念去探索开源内容、开源学习和开源方案，赋能人才培养，助力人才成长，建立起人与人，人与知识，人与企业和人与未来的联结。

2020.5.18于城口

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

第1章 Pandas基础操作（使用pandas进行数据分析，从小白逆袭大神，你会了吗？）

文章目錄要求1.掌握常見文件格式的讀寫操作2.理解並熟悉 Series 和 DataFrame 的重要屬性和重要方法3.掌握各類排序（索引排序和值排序、單級排序和多級排序）1.查看Pandas版本一、文件讀取與寫入1. 讀取（a）

五角钱的程序员 2020-06-21 17:33:06

第9章 pandas时序数据（初学者必学）

在拿到一份數據準備做挖掘建模之前，首先需要進行初步的數據探索性分析，對數據探索性分析之後要先進行一系列的數據預處理步驟。因爲拿到的原始數據存在不完整、不一致、有異常的數據，而這些“錯誤”數據會嚴重影響到數據挖掘建模的執行效率甚至

五角钱的程序员 2020-06-07 00:24:29

第8章 pandas分类数据（初学者必学）

在拿到一份數據準備做挖掘建模之前，首先需要進行初步的數據探索性分析，對數據探索性分析之後要先進行一系列的數據預處理步驟。因爲拿到的原始數據存在不完整、不一致、有異常的數據，而這些“錯誤”數據會嚴重影響到數據挖掘建模的執行效率甚至

五角钱的程序员 2020-06-07 00:24:29

第7章 pandas文本数据（初学者需要掌握的几种基本的数据预处理方法）

五角钱的程序员 2020-05-25 01:46:09

第6章 pandas缺失数据（初学者需要掌握的几种基本的数据预处理方法_缺失）

五角钱的程序员 2020-05-22 23:11:17

第2章 精通pandas索引操作（使用pandas进行数据分析，从小白逆袭大神，你会了吗？）

五角钱的程序员 2020-04-25 19:23:24

第1章 Pandas基础

五角钱的程序员 2020-04-22 00:06:30

第1章 Pandas基础操作（使用pandas进行数据分析，从小白逆袭大神，你会了吗？）

文章目錄要求1.掌握常見文件格式的讀寫操作2.理解並熟悉 Series 和 DataFrame 的重要屬性和重要方法3.掌握各類排序（索引排序和值排序、單級排序和多級排序）1.查看Pandas版本一、文件讀取與寫入1. 讀取（a）

五角钱的程序员 2020-06-21 17:33:06

第9章 pandas时序数据（初学者必学）

在拿到一份數據準備做挖掘建模之前，首先需要進行初步的數據探索性分析，對數據探索性分析之後要先進行一系列的數據預處理步驟。因爲拿到的原始數據存在不完整、不一致、有異常的數據，而這些“錯誤”數據會嚴重影響到數據挖掘建模的執行效率甚至

五角钱的程序员 2020-06-07 00:24:29

第8章 pandas分类数据（初学者必学）

在拿到一份數據準備做挖掘建模之前，首先需要進行初步的數據探索性分析，對數據探索性分析之後要先進行一系列的數據預處理步驟。因爲拿到的原始數據存在不完整、不一致、有異常的數據，而這些“錯誤”數據會嚴重影響到數據挖掘建模的執行效率甚至

五角钱的程序员 2020-06-07 00:24:29

第7章 pandas文本数据（初学者需要掌握的几种基本的数据预处理方法）

五角钱的程序员 2020-05-25 01:46:09

第6章 pandas缺失数据（初学者需要掌握的几种基本的数据预处理方法_缺失）

五角钱的程序员 2020-05-22 23:11:17

第2章 精通pandas索引操作（使用pandas进行数据分析，从小白逆袭大神，你会了吗？）

五角钱的程序员 2020-04-25 19:23:24

第1章 Pandas基础

五角钱的程序员 2020-04-22 00:06:30