python pandas dataframe 去重函數

轉自：http://bluewhale.cc/2016-08-06/use-pandas-filter-and-sort.html

from pandas import Series, DataFrame

data = DataFrame({'k': [1, 1, 2, 2]})

print data

IsDuplicated = data.duplicated()

print IsDuplicated
print type(IsDuplicated)
data = data.drop_duplicates()
print data

執行結果是：

   k
0  1
1  1
2  2
3  2

0    False
1     True
2    False
3     True

[python] view plain copy

   k
0  1
2  2

DataFrame的duplicated方法返回一個布爾型Series,表示各行是否重複行。

而 drop_duplicates方法，它用於返回一個移除了重複行的DataFrame

這兩個方法會判斷全部列，你也可以指定部分列進行重複項判段。

例如，希望對名字爲k2的列進行去重