Pandas 的Merge總結

Pandas Merge

pandas 的merge方法提供了一種類似於SQL的內存鏈接操作，官網文檔提到它的性能會比其他開源語言的數據操作（例如R）要高效。

Merge

Merge的參數

• on: 列名，join用來對齊的那一列名字，用到這個參數的時候一定要保證坐表和右表用來對齊的那一列都有相同的列名。
• left_on: 座標對齊的列，可以是列名，也可以是和dataframe同樣長度的arrays;
• left_index/right_index: 如果是True的 haunted以index作爲對齊的key
• how: 數據融合的方法
• sort: 根據dataframe合併的keys按字典順序排序，默認是，如果置false可以提高表現。
  merge的默認合併方法：merge用於表內部基於index-on-index和index-on-column(s)的合併，但默認是基於index來合併。

1.1 複合key的合併方法

使用merge的時候可以選擇多個key作爲複合可以對齊合併。

1.1.1 通過on指定數據合併對齊的列

import pandas as pd

left = pd.DataFrame({'key1': ['K0', 'K0', 'K1', 'K2'],'key2': ['K0', 'K1', 'K0', 'K1'],'A': ['A0', 'A1', 'A2', 'A3'],'B': ['B0', 'B1', 'B2', 'B3']})
right = pd.DataFrame({'key1': ['K0', 'K1', 'K1', 'K2'],'key2': ['K0', 'K0', 'K0', 'K0'],'C': ['C0', 'C1', 'C2', 'C3'],'D': ['D0', 'D1', 'D2', 'D3']})

print('left----------------')
print(left)
print('right----------------')
print(right)
result = pd.merge(left, right, on=["key1","key2"])
print('merge----------------')
print(result)

left----------------
  key1 key2   A   B
0   K0   K0  A0  B0
1   K0   K1  A1  B1
2   K1   K0  A2  B2
3   K2   K1  A3  B3
right----------------
  key1 key2   C   D
0   K0   K0  C0  D0
1   K1   K0  C1  D1
2   K1   K0  C2  D2
3   K2   K0  C3  D3
merge----------------
  key1 key2   A   B   C   D
0   K0   K0  A0  B0  C0  D0
1   K1   K0  A2  B2  C1  D1
2   K1   K0  A2  B2  C2  D2

沒有指定how的話默認使用inner方法，how的方法有：

left

只保留左表的所有數據

left_result = pd.merge(left, right, how='left', on=['key1','key2'])
print(left_result)

  key1 key2   A   B    C    D
0   K0   K0  A0  B0   C0   D0
1   K0   K1  A1  B1  NaN  NaN
2   K1   K0  A2  B2   C1   D1
3   K1   K0  A2  B2   C2   D2
4   K2   K1  A3  B3  NaN  NaN

right

只保留右表的所有數據

right_result = pd.merge(left, right, how='right', on=['key1','key2'])
print(right_result)

  key1 key2    A    B   C   D
0   K0   K0   A0   B0  C0  D0
1   K1   K0   A2   B2  C1  D1
2   K1   K0   A2   B2  C2  D2
3   K2   K0  NaN  NaN  C3  D3

outer

保留兩個表的所有信息

outer_result = pd.merge(left, right, how='outer', on=['key1','key2'])
print(outer_result)

  key1 key2    A    B    C    D
0   K0   K0   A0   B0   C0   D0
1   K0   K1   A1   B1  NaN  NaN
2   K1   K0   A2   B2   C1   D1
3   K1   K0   A2   B2   C2   D2
4   K2   K1   A3   B3  NaN  NaN
5   K2   K0  NaN  NaN   C3   D3

inner

只保留兩個表中公共部分的信息

inner_result = pd.merge(left, right, how='inner', on=['key1','key2'])
print(inner_result)

  key1 key2   A   B   C   D
0   K0   K0  A0  B0  C0  D0
1   K1   K0  A2  B2  C1  D1
2   K1   K0  A2  B2  C2  D2

1.2 indicator

v0.17.0版本的pandas開始還支持了一個indicator的參數，如果置爲True的時候，輸出結果會增加一列’_merge’。_merge列可以取三個值：

1. left_only: 只在左表中
2. right_only: 只在右表中
3. both: 兩個表中都有

1.3 join方法

dataframe內置的join方法是一種快速合併的方法。它默認以index作爲對齊的列。

1.3.1 how參數

join中的how參數和merge中的how參數一樣，用來指定表合併保留數據的規則。

1.3.2 on參數

在實際應用中如果右表的索引值正是左表的某一列的值，這時可以通過將右表的索引和左表的列對齊合併這樣靈活的方式來進行合併。如下：

left = pd.DataFrame({'A': ['A0', 'A1', 'A2', 'A3'],'B': ['B0', 'B1', 'B2', 'B3'],'key': ['K0', 'K1', 'K0', 'K1']})
right = pd.DataFrame({'C': ['C0', 'C1'],'D': ['D0', 'D1']}, index=['K0', 'K1'])
result = left.join(right, on='key')

print('left----------------')
print(left)
print('right----------------')
print(right)
print('join----------------')
print(result)

left----------------
    A   B key
0  A0  B0  K0
1  A1  B1  K1
2  A2  B2  K0
3  A3  B3  K1
right----------------
     C   D
K0  C0  D0
K1  C1  D1
join----------------
    A   B key   C   D
0  A0  B0  K0  C0  D0
1  A1  B1  K1  C1  D1
2  A2  B2  K0  C0  D0
3  A3  B3  K1  C1  D1

1.3.2 suffix後綴參數

如果和表合併的過程中遇到有一列兩個表都同名，但是值不同，合併的時候又想都保留下來，就可以用suffixes給每個表的重複列名增加後綴。

• 另外還有lsuffix和rsuffix分別指定左表的後綴和右表的後綴

left = pd.DataFrame({'k':['K0','K1','K2'],'v':[1,2,3]})
right = pd.DataFrame({'k':['K0','K1','K2'],'v':[4,5,6]})
result = pd.merge(left, right, on='k', suffixes=['_l','_r'])

print('left----------------')
print(left)
print('right----------------')
print(right)
print('merge----------------')
print(result)

left----------------
    k  v
0  K0  1
1  K1  2
2  K2  3
right----------------
    k  v
0  K0  4
1  K1  5
2  K2  6
merge----------------
    k  v_l  v_r
0  K0    1    4
1  K1    2    5
2  K2    3    6

1.4 組合多個dataframe

一次組合多個dataframe的時候可以傳入元素爲dataframe的列表或者tuple。一次join多個，一次解決多次煩惱。

left = pd.DataFrame({'v':[1,2,3]}, index=['K0', 'K1', 'K2'])
right = pd.DataFrame({'v':[4,5,6]}, index=['K0', 'K0', 'K3'])
right2 = pd.DataFrame({'v': [7, 8, 9]}, index=['K1', 'K1', 'K2'])

result = left.join([right, right2])
print('left----------------')
print(left)
print('right----------------')
print(right)
print('right2----------------')
print(right2)
print('join----------------')
print(result)

left----------------
    v
K0  1
K1  2
K2  3
right----------------
    v
K0  4
K0  5
K3  6
right2----------------
    v
K1  7
K1  8
K2  9
join----------------
    v_x  v_y    v
K0    1  4.0  NaN
K0    1  5.0  NaN
K1    2  NaN  7.0
K1    2  NaN  8.0
K2    3  NaN  9.0

參考：https://blog.csdn.net/weixin_37226516/article/details/64137043