第7章 pandas文本數據（初學者需要掌握的幾種基本的數據預處理方法）

在拿到一份數據準備做挖掘建模之前，首先需要進行初步的數據探索性分析，對數據探索性分析之後要先進行一系列的數據預處理步驟。因爲拿到的原始數據存在不完整、不一致、有異常的數據，而這些“錯誤”數據會嚴重影響到數據挖掘建模的執行效率甚至導致挖掘結果出現偏差，因此首先要數據清洗。數據清洗完成之後接着進行或者同時進行數據集成、轉換、歸一化等一系列處理，該過程就是數據預處理。一方面是提高數據的質量，另一方面可以讓數據更好的適應特定的挖掘模型，在實際工作中該部分的內容可能會佔整個工作的70%甚至更多。

系列文章
第1章 Pandas基礎操作（使用pandas進行數據分析，從小白逆襲大神，你會了嗎？）
第2章精通pandas索引操作（使用pandas進行數據分析，從小白逆襲大神，你會了嗎？）
第3章 Pandas 分組（使用pandas進行數據分析，從小白逆襲大神，你會了嗎？）
第4章精通pandas變形操作（使用pandas進行數據分析，從小白逆襲大神，你會了嗎？）
第5章精通pandas合併操作（使用pandas進行數據分析，從小白逆襲大神，你會了嗎？）
第6章 pandas缺失數據（初學者需要掌握的幾種基本的數據預處理方法_缺失）

文章目錄

一、string類型的性質

二、拆分與拼接

三、替換

2. 子組與函數替換

四、子串匹配與提取

五、常用字符串方法

import pandas as pd
import numpy as np

一、string類型的性質

1. string與object的區別

string類型和object不同之處有三：

① 字符存取方法（string accessor methods，如str.count）會返回相應數據的Nullable類型，而object會隨缺失值的存在而改變返回類型

② 某些Series方法不能在string上使用，例如： Series.str.decode()，因爲存儲的是字符串而不是字節

③ string類型在缺失值存儲或運算時，類型會廣播爲pd.NA，而不是浮點型np.nan

其餘全部內容在當前版本下完全一致，但迎合Pandas的發展模式，我們仍然全部用string來操作字符串

2. string類型的轉換

如果將一個其他類型的容器直接轉換string類型可能會出錯：

#pd.Series([1,'1.']).astype('string') #報錯
#pd.Series([1,2]).astype('string') #報錯
#pd.Series([True,False]).astype('string') #報錯

當下正確的方法是分兩部轉換，先轉爲str型object，在轉爲string類型：

pd.Series([1,'1.']).astype('str').astype('string')

pd.Series([1,2]).astype('str').astype('string')

pd.Series([True,False]).astype('str').astype('string')

二、拆分與拼接

1. str.split方法

（a）分割符與str的位置元素選取

s = pd.Series(['a_b_c', 'c_d_e', np.nan, 'f_g_h'], dtype="string")
s

根據某一個元素分割，默認爲空格

s.str.split('_')

這裏需要注意split後的類型是object，因爲現在Series中的元素已經不是string，而包含了list，且string類型只能含有字符串

對於str方法可以進行元素的選擇，如果該單元格元素是列表，那麼str[i]表示取出第i個元素，如果是單個元素，則先把元素轉爲列表在取出

s.str.split('_').str[1]

pd.Series(['a_b_c', ['a','b','c']], dtype="object").str[1]
#第一個元素先轉爲['a','_','b','_','c']

（b）其他參數
expand參數控制了是否將列拆開，n參數代表最多分割多少次

s.str.split('_',expand=True)

s.str.split('_',n=1)

s.str.split('_',expand=True,n=1)

2. str.cat方法

（a）不同對象的拼接模式

cat方法對於不同對象的作用結果並不相同，其中的對象包括：單列、雙列、多列

① 對於單個Series而言，就是指所有的元素進行字符合併爲一個字符串

s = pd.Series(['ab',None,'d'],dtype='string')
s

s.str.cat()

其中可選sep分隔符參數，和缺失值替代字符na_rep參數

s.str.cat(sep=',')

s.str.cat(sep=',',na_rep='*')

② 對於兩個Series合併而言，是對應索引的元素進行合併

s2 = pd.Series(['24',None,None],dtype='string')
s2

s.str.cat(s2)

同樣也有相應參數，需要注意的是兩個缺失值會被同時替換

s.str.cat(s2,sep=',',na_rep='*')

③ 多列拼接可以分爲表的拼接和多Series拼接

表的拼接

s.str.cat(pd.DataFrame({0:['1','3','5'],1:['5','b',None]},dtype='string'),na_rep='*')

多個Series拼接

s.str.cat([s+'0',s*2])

（b）cat中的索引對齊

當前版本中，如果兩邊合併的索引不相同且未指定join參數，默認爲左連接，設置join=‘left’

s2 = pd.Series(list('abc'),index=[1,2,3],dtype='string')
s2

s.str.cat(s2,na_rep='*')

三、替換

廣義上的替換，就是指str.replace函數的應用，fillna是針對缺失值的替換，上一章已經提及

提到替換，就不可避免地接觸到正則表達式，這裏默認讀者已掌握常見正則表達式知識點，若對其還不瞭解的，可以通過這份資料來熟悉

s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca','', np.nan, 'CABA', 'dog', 'cat'],dtype="string")
s

第一個值寫r開頭的正則表達式，後一個寫替換的字符串

s.str.replace(r'^[AB]','***')

2. 子組與函數替換

通過正整數調用子組（0返回字符本身，從1開始纔是子組）

s.str.replace(r'([ABC])(\w+)',lambda x:x.group(2)[1:]+'*')

利用?P<…>表達式可以對子組命名調用

s.str.replace(r'(?P<one>[ABC])(?P<two>\w+)',lambda x:x.group('two')[1:]+'*')

3. 關於str.replace的注意事項
首先，要明確str.replace和replace並不是一個東西：

str.replace針對的是object類型或string類型，默認是以正則表達式爲操作，目前暫時不支持DataFrame上使用

replace針對的是任意類型的序列或數據框，如果要以正則表達式替換，需要設置regex=True，該方法通過字典可支持多列替換

但現在由於string類型的初步引入，用法上出現了一些問題，這些issue有望在以後的版本中修復

（a）str.replace賦值參數不得爲pd.NA

這聽上去非常不合理，例如對滿足某些正則條件的字符串替換爲缺失值，直接更改爲缺失值在當下版本就會報錯

#pd.Series(['A','B'],dtype='string').str.replace(r'[A]',pd.NA) #報錯
#pd.Series(['A','B'],dtype='O').str.replace(r'[A]',pd.NA) #報錯

此時，可以先轉爲object類型再轉換回來，曲線救國：

pd.Series(['A','B'],dtype='string').astype('O').replace(r'[A]',pd.NA,regex=True).astype('string')

至於爲什麼不用replace函數的regex替換（但string類型replace的非正則替換是可以的），原因在下面一條

（b）對於string類型Series，在使用replace函數時不能使用正則表達式替換

該bug現在還未修復

pd.Series(['A','B'],dtype='string').replace(r'[A]','C',regex=True)

pd.Series(['A','B'],dtype='O').replace(r'[A]','C',regex=True)

（c）string類型序列如果存在缺失值，不能使用replace替換

#pd.Series(['A',np.nan],dtype='string').replace('A','B') #報錯
pd.Series(['A',np.nan],dtype='string').str.replace('A','B')

綜上，概況的說，除非需要賦值元素爲缺失值（轉爲object再轉回來），否則請使用str.replace方法

四、子串匹配與提取

1. str.extract方法

（a）常見用法

pd.Series(['10-87', '10-88', '10-89'],dtype="string").str.extract(r'([\d]{2})-([\d]{2})')

使用子組名作爲列名

pd.Series(['10-87', '10-88', '-89'],dtype="string").str.extract(r'(?P<name_1>[\d]{2})-(?P<name_2>[\d]{2})')

利用?正則標記選擇部分提取

pd.Series(['10-87', '10-88', '-89'],dtype="string").str.extract(r'(?P<name_1>[\d]{2})?-(?P<name_2>[\d]{2})')

pd.Series(['10-87', '10-88', '10-'],dtype="string").str.extract(r'(?P<name_1>[\d]{2})-(?P<name_2>[\d]{2})?')

（b）expand參數（默認爲True）

對於一個子組的Series，如果expand設置爲False，則返回Series，若大於一個子組，則expand參數無效，全部返回DataFrame

對於一個子組的Index，如果expand設置爲False，則返回提取後的Index，若大於一個子組且expand爲False，報錯

s = pd.Series(["a1", "b2", "c3"], ["A11", "B22", "C33"], dtype="string")
s.index

s.str.extract(r'([\w])')

s.str.extract(r'([\w])',expand=False)

s.index.str.extract(r'([\w])')

s.index.str.extract(r'([\w])',expand=False)

s.index.str.extract(r'([\w])([\d])')

#s.index.str.extract(r'([\w])([\d])',expand=False) #報錯

2. str.extractall方法

與extract只匹配第一個符合條件的表達式不同，extractall會找出所有符合條件的字符串，並建立多級索引（即使只找到一個）

s = pd.Series(["a1a2", "b1", "c1"], index=["A", "B", "C"],dtype="string")
two_groups = '(?P<letter>[a-z])(?P<digit>[0-9])'
s.str.extract(two_groups, expand=True)

s.str.extractall(two_groups)

s['A']='a1'
s.str.extractall(two_groups)

如果想查看第i層匹配，可使用xs方法

s = pd.Series(["a1a2", "b1b2", "c1c2"], index=["A", "B", "C"],dtype="string")
s.str.extractall(two_groups).xs(1,level='match')

3. str.contains和str.match

前者的作用爲檢測是否包含某種正則模式

pd.Series(['1', None, '3a', '3b', '03c'], dtype="string").str.contains(r'[0-9][a-z]')

可選參數爲na

pd.Series(['1', None, '3a', '3b', '03c'], dtype="string").str.contains('a', na=False)

str.match與其區別在於，match依賴於python的re.match，檢測內容爲是否從頭開始包含該正則模式

pd.Series(['1', None, '3a_', '3b', '03c'], dtype="string").str.match(r'[0-9][a-z]',na=False)

pd.Series(['1', None, '_3a', '3b', '03c'], dtype="string").str.match(r'[0-9][a-z]',na=False)

五、常用字符串方法

1. 過濾型方法

（a）str.strip

常用於過濾空格

pd.Series(list('abc'),index=[' space1  ','space2  ','  space3'],dtype="string").index.str.strip()`在這裏插入代碼片`

（b）str.lower和str.upper

pd.Series('A',dtype="string").str.lower()

pd.Series('a',dtype="string").str.upper()

（c）str.swapcase和str.capitalize
分別表示交換字母大小寫和大寫首字母

pd.Series('abCD',dtype="string").str.swapcase()

pd.Series('abCD',dtype="string").str.capitalize()

2. isnumeric方法

檢查每一位是否都是數字，請問如何判斷是否是數值？（問題二）

pd.Series(['1.2','1','-0.3','a',np.nan],dtype="string").str.isnumeric()

代碼和數據地址：https://github.com/XiangLinPro/pandas

另外博主收藏這些年來看過或者聽過的一些不錯的常用的上千本書籍，沒準你想找的書就在這裏呢，包含了互聯網行業大多數書籍和麪試經驗題目等等。有人工智能系列（常用深度學習框架TensorFlow、pytorch、keras。NLP、機器學習，深度學習等等），大數據系列(Spark,Hadoop,Scala,kafka等)，程序員必修系列（C、C++、java、數據結構、linux，設計模式、數據庫等等）以下是部分截圖

更多文章見本原創微信公衆號「五角錢的程序員」，我們一起成長，一起學習。一直純真着，善良着，溫情地熱愛生活。關注回覆【電子書】即可領取哦。

給大家推薦一個Github,上面非常非常多的乾貨：https://github.com/XiangLinPro/IT_book

You can’t change how people feel about you, so it is unnecessary to change their opinions. Just enjoy your own life.

你不能改變別人對你的感覺，所以無需嘗試。只要享受自己的人生就好！

關於Datawhale

Datawhale是一個專注於數據科學與AI領域的開源組織，彙集了衆多領域院校和知名企業的優秀學習者，聚合了一羣有開源精神和探索精神的團隊成員。Datawhale以“for the learner，和學習者一起成長”爲願景，鼓勵真實地展現自我、開放包容、互信互助、敢於試錯和勇於擔當。同時Datawhale 用開源的理念去探索開源內容、開源學習和開源方案，賦能人才培養，助力人才成長，建立起人與人，人與知識，人與企業和人與未來的聯結。