Python 之 【re模塊的正則表達式學習】
轉自：http://www.cnblogs.com/zhoujinyi/p/3159903.html
摘要：
re模塊包括操作正則表達式的函數，一些工作中都需要用到，現在說明下使用方法。在python3.6中測試通過。
使用說明：
一、re模塊下的函數：
| 函數 | 描述 |
|---|---|
| compile(pattern) | 創建模式對象 |
| search(pattern,string) | 在字符串中尋找模式 |
| match(pattern,string) | 在字符串開始處匹配模式 |
| split(pattern,string) | 根據模式分割字符串 |
| findall(pattern,string) | 列表形式返回匹配項 |
| sub(pat,repl,string) | pat匹配想用repl替換 |
| escape(string) | 特殊字符轉義 |
1. compile:
>>> import re
>>> pat=re.compile('A')
>>> m=pat.search('CBA')
>>> print(m)
<_sre.SRE_Match object; span=(2, 3), match='A'> #匹配到了，返回MatchObject(True)
>>> m=pat.search('CBD')
>>> print(m)
None #沒有匹配到，返回None(False)
#上面的等價於
>>> re.search('A','CBA')
<_sre.SRE_Match object; span=(2, 3), match='A'>
#推薦都用第一種方法說明：將正則表達式轉換爲模式對象，實現更有效率的匹配，因爲其他的函數會在內部進行轉換。
2. search:
>>> m = re.search('asd','ASDasd')
>>> print(m)
<_sre.SRE_Match object; span=(3, 6), match='asd'> #匹配到了，返回MatchObject(True)
>>> m = re.search('asd','ASDASD')
>>> print(m)
None #沒有匹配到，返回None(False)說明：在給定的字符串中尋找第一個匹配給正則表達式的子字符串，有多個也只返回第一個出現的。
3. match:
>>> m = re.match('a','Aasd')
>>> print(m)
None #沒有匹配到，返回None(False)
>>> m = re.match('a','aASD')
>>> print(m)
<_sre.SRE_Match object; span=(0, 1), match='a'> #匹配到了，返回MatchObject(True)
可以用第一個方法：compile
>>> pat=re.compile('a')
>>> print(pat.match('Aasd'))
None
>>> print(pat.match('aASD'))
<_sre.SRE_Match object; span=(0, 1), match='a'>說明：在給定的字符串的開頭匹配正則表達式。
上面的函數返回都可以在if條件語句中進行判斷：
>>>if pat.search('asd'):
... print('OK')
# OK #找到返回
>>>if re.search('a', 'ASD'):
... print('OK')
# #沒有找到4. split:
>>> re.split(',','a,s,d,asd')
['a', 's', 'd', 'asd'] #返回列表
>>> pat = re.compile(',')
>>> pat.split('a,s,d,asd')
['a', 's', 'd', 'asd'] #返回列表
>>> re.split('[, ]+','a , s ,d ,,,,,asd') #正則匹配：[, ]+，後面說明
['a', 's', 'd', 'asd']
>>> re.split('[, ]+','a , s ,d ,,,,,asd',maxsplit=2) # maxsplit 最多分割次數
['a', 's', 'd ,,,,,asd']
>>> pat = re.compile('[, ]+') #正則匹配：[, ]+，後面說明
>>> pat.split('a , s ,d ,,,,,asd',maxsplit=2) # maxsplit 最多分割次數
['a', 's', 'd ,,,,,asd']說明：根據模式的匹配項來分割字符串，類似字符串的split 的方法，但是字符串的split只能用固定長度的分割符，而re.split允許用任意長度和個數的分割符。
5. findall:
>>> re.findall('a','ASDaDFGAa')
['a', 'a'] #列表形式返回匹配到的字符串
>>> pat = re.compile('a')
>>> pat.findall('ASDaDFGAa')
['a', 'a'] #列表形式返回匹配到的字符串
>>> pat = re.compile('[A-Z]+') #正則匹配：'[A-Z]+' 後面有說明
>>> pat.findall('ASDcDFGAa')
['ASD', 'DFGA'] #找到匹配到的字符串
>>> pat = re.compile('[A-Z]')
>>> pat.findall('ASDcDFGAa') #正則匹配：'[A-Z]+' 後面有說明
['A', 'S', 'D', 'D', 'F', 'G', 'A'] #找到匹配到的字符串
>>> pat = re.compile('[A-Za-z]') #正則匹配：'[A-Za-z]+' 匹配所有單詞，後面有說明
>>> pat.findall('ASDcDFGAa')
['A', 'S', 'D', 'c', 'D', 'F', 'G', 'A', 'a'] 說明：列表形式返回給定模式的匹配項。返回所有匹配的字符串。
6. sub:
>>> re.sub('a','A','abcasd') #找到a用A替換，後面見和group的配合使用
'AbcAsd'
>>> pat = re.compile('a')
>>> pat.sub('A','abcasd')
'AbcAsd'
#通過組進行更新替換：
>>> pat=re.compile(r'www\.(.*)\..{3}') #正則表達式
>>> pat.match('www.dxy.com').group(1)
'dxy'
>>> pat.sub(r'\1','hello,www.dxy.com') #通過正則匹配找到符合規則的"www.dxy.com"，取得組1字符串 去替換 整個匹配得到字符串。dxy -> www.dxy.com
'hello,dxy'
>>> pat=re.compile(r'(\w+) (\w+)') #正則表達式
>>> s='hello world ! hello hz !'
>>> pat.findall('hello world ! hello hz !')
[('hello', 'world'), ('hello', 'hz')]
>>> pat.sub(r'\2 \1',s) #通過正則得到組1(hello)，組2(world)，再通過sub去替換。即組1替換組2，組2替換組1，調換位置。
'world hello!hz hello!'說明：使用給定的內容替換掉找到的字符串。a->A
>>> dir(m)
['__class__', '__copy__', '__deepcopy__', '__delattr__', '__doc__', '__format__', '__getattribute__', '__hash__', '__init__', '__new__', '__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__', 'end', 'endpos', 'expand', 'group', 'groupdict', 'groups', 'lastgroup', 'lastindex', 'pos', 're', 'regs', 'span', 'start', 'string']7. escape:
>>> re.escape('www.dxy.cn')
'www\\.dxy\\.cn' #轉義說明：對字符串裏面的特殊字符串進行轉義。
上面的函數中，只有match、search有group方法，其他的函數沒有。
二、函數的方法：
>>> dir(m)
[
'__class__', '__copy__', '__deepcopy__', '__delattr__', '__doc__', '__format__', '__getattribute__', '__hash__', '__init__', '__new__',
'__reduce__', '__reduce_ex__', '__repr__', '__setattr__', '__sizeof__', '__str__', '__subclasshook__',
'end', 'endpos', 'expand', 'group', 'groupdict', 'groups', 'lastgroup', 'lastindex', 'pos', 're', 'regs', 'span', 'start', 'string'
]這裏介紹幾個：
| 方法 | 描述 |
|---|---|
| group | 獲取子模式(組)的匹配項 |
| start | 給定組匹配項的開始位置 |
| end | 給定組匹配項的結束位置 |
| span | 給定組匹配項的開始結束位置 |
>>> pat = re.compile(r'www\.(.*)\.(.*)') #用()表示一個組，2個組
>>> m = pat.match('www.dxy.com')
>>> m.group() #默認爲0，表示匹配整個字符串
'www.dxy.com'
>>> m.group(1) #返回給定組1匹配的子字符串
'dxy'
>>> m.group(2)
'com'
>>> m.start(2) #組2開始的索引
8
>>> m.end(2) #組2結束的索引
11
>>> m.span(2) #組2開始、結束的索引
(8, 11)
>>> m1 = pat.search('www.dxy.com')
>>> m1.group()
'www.dxy.com'
>>> m1.group(1)
'dxy'
>>> m1.group(2)
'com'
>>> m1.start(2)
8三、正則表達式:
1. 元字符
| 字符 | 描述 |
|---|---|
| . | 除換行符外的任意字符 |
| \ | 轉義字符 |
| […] | 字符集合 |
| \d | 數字[0-9] |
| \D | 非數字[^0-9] |
| \s | 空白字符[\t\r\n\f、空格] |
| \S | 非空白字符[^\s] |
| \w | 單詞字符[A-Za-z0-9] |
| \W | 非單詞字符[^\w] |
使用：
# "." ：通配符
>>> pat=re.compile('.')
>>> pat.match('abc')
<_sre.SRE_Match object; span=(0, 1), match='a'>
>>> pat.match('abc').group()
'a' #匹配到了首個字符
>>> pat.search('abc').group()
'a'
>>> pat.match('\n').group() #換行符匹配出錯
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: 'NoneType' object has no attribute 'group'
# "\" : 轉義符
>>> pat=re.compile('\.')
>>> pat.search('abc.efg').group() #匹配到.
'.'
>>> pat.findall('abc.efg') #不用group,返回列表
['.']
# "[...]" : 集合，匹配裏面的任意一個元素
>>> pat=re.compile('[abc]')
>>> pat.match('axbycz').group()
'a'
>>> pat.search('axbycz').group()
'a'
>>> pat.findall('axbycz')
['a', 'b', 'c']
# "\d" : 數字
>>> pat=re.compile('\d')
>>> pat.search('ax1by2cz3').group() #匹配到第一個數字:1，返回
'1'
>>> pat.match('ax1by2cz3').group() #匹配不到（首個不是）返回None，報錯，match匹配字符串頭
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: 'NoneType' object has no attribute 'group'
>>> pat.findall('ax1by2cz3') #匹配所有的數字，列表返回
['1', '2', '3']
# "\D" : 非數字
>>> pat=re.compile('\D')
>>> pat.match('ax1by2cz3').group()
'a'
>>> pat.search('ax1by2cz3').group()
'a'
>>> pat.findall('ax1by2cz3')
['a', 'x', 'b', 'y', 'c', 'z']
# "\s" :空白字符 : \t、\r、\n、空格
>>> pat=re.compile('\s')
>>> pat.findall('\rax1 \nby2 \tcz3')
['\r', ' ', '\n', ' ', '\t']
>>> pat.search('\rax1 \nby2 \tcz3').group()
'\r'
>>> pat.match('\rax1 \nby2 \tcz3').group()
'\r'
# "\S" :非空白字符
>>> pat=re.compile('\S')
>>> pat.search('\rax1 \nby2 \tcz3').group()
'a'
>>> pat.findall('\rax1 \nby2 \tcz3')
['a', 'x', '1', 'b', 'y', '2', 'c', 'z', '3']
# "\w" :單詞字符,數字和字母:[A-Za-z0-9]
>>> pat=re.compile('\w')
>>> pat.search('1a2b3c').group()
'1'
>>> pat.findall('1a2b3c')
['1', 'a', '2', 'b', '3', 'c']
>>> pat.match('1a2b3c').group()
'1'
# "\W":非單詞字符,除數字和字母外
>>> pat=re.compile('\W')
>>> pat.findall('1a2我b3c')
['\xe6', '\x88', '\x91']
>>> pat.search('1a2我b3c').group()
'\xe6'2. 數量詞：會出現貪婪模式
| 數量詞 | 描述 |
|---|---|
| * | 匹配前一個字符0次或則多次 |
| + | 匹配前一個字符1次或則多次 |
| ？ | 匹配前一個字符0次或則1次 |
| {m} | 匹配前一個字符m次 |
| {m,n} | 匹配前一個字符m次到n次 |
| 數量詞? | 非貪婪模式 |
使用:
# "*" ：0次或則多次
>>> pat = re.compile('[abc]*')
>>> pat.match('abcabcdefabc').group()
'abcabc' #2次
>>> pat.search('abcabcdefabc').group()
'abcabc' #2次
>>> pat.findall('abcabcdefabc')
['abcabc', '', '', '', 'abc', ''] #2次和1次,因爲有0次，所以匹配了''
# "+" ：1次或則多次
>>> pat = re.compile('[abc]+')
>>> pat.match('abcdefabcabc').group()
'abc'
>>> pat.search('abcdefabcabc').group()
'abc'
>>> pat.findall('abcdefabcabc')
['abc', 'abcabc']
# "?" ：0次或則1次，match,search 不會出現none，會出現''
>>> pat = re.compile('[abc]?')
>>> pat.match('defabc').group() #0次
''
>>> pat.match('abcdefabc').group()
'a'
>>> pat.search('defabc').group() #0次
''
>>> pat.findall('defabc') #0次和1次
['', '', '', 'a', 'b', 'c', '']
# "{m}" ：匹配字符串出現m次
>>> pat = re.compile('[op]{2}') #o或則p出現2次
>>> pat.search('abcooapp').group() #匹配第一次出現的字符串,o比p先出現
'oo'
>>> pat.findall('abcooapp') #匹配出現的所有字符串，列表形式返回
['oo', 'pp']
# "{m,n}" ：匹配字符串出現m到n次
>>> pat = re.compile('[op]{2,4}') #o或則p出現2到4次
>>> pat.match('pppabcooapp').group() #匹配開頭
'ppp'
>>> pat.search('pppabcooapp').group() #匹配第一次出現
'ppp'
>>> pat.findall('pppabcooapp') #匹配所有
['ppp', 'oo', 'pp']
# "數量詞?" ：非貪婪模式：只匹配最少的（儘可能少）；默認貪婪模式：匹配最多的（儘可能多）
>>> pat = re.compile('[abc]+') #貪婪模式
>>> pat.match('abcdefabcabc').group() #匹配儘可能多的：abc
'abc'
>>> pat.match('bbabcdefabcabc').group()
'bbabc'
>>> pat.search('dbbabcdefabcabc').group()
'bbabc'
>>> pat.findall('abcdefabcabc')
['abc', 'abcabc']
>>> pat = re.compile('[abc]+?') #非貪婪模式：+?
>>> pat.match('abcdefabcabc').group() #匹配儘可能少的：a、b、c
'a'
>>> pat.search('dbbabcdefabcabc').group()
'b'
>>> pat.findall('abcdefabcabc')
['a', 'b', 'c', 'a', 'b', 'c', 'a', 'b', 'c']3. 邊界
| 邊界詞 | 描述 |
|---|---|
| ^ | 匹配字符串開頭和行首 |
| $ | 匹配字符串結尾和行尾 |
| \A | 匹配字符串開頭 |
| \Z | 匹配字符串結尾 |
| \b | 匹配\w 和 \W 之間 |
使用:
# "^" ：匹配字符串開頭或則行頭
>>> pat = re.compile('^[abc]') #開頭是abc
>>> pat.search('defabc').group()
>>> pat.match('defabc').group() #均找不到
>>> pat.findall('defabc')
[]
>>> pat.search('adefabc').group()
'a'
>>> pat.match('adefabc').group() #開頭是a、b、c中的任意一個
'a'
>>> pat.findall('adefabc')
['a']
>>> pat = re.compile('^[abc]+') #開頭是a、b、c中的任意一個的一次或則多次，貪婪：匹配多個
>>> pat.findall('cbadefab')
['cba']
>>> pat = re.compile(r'^[abc]+?') #開頭是a、b、c中的任意一個的一次或則多次，非貪婪：匹配一個
>>> pat.findall('cbadefab')
['c']
# "$" ：匹配字符串結尾或則行尾
>>> pat = re.compile('[abc]$')
>>> pat.match('adefAbc').group() #match匹配的是字符串開頭，所以查找$的時，總是返回None
>>> pat.search('adefAbc').group() #結尾是a、b、c中的任意一個
'c'
>>> pat.findall('adefAbc')
['c']
>>> pat = re.compile('[abc]+$')
>>> pat.search('adefAbc').group() #結尾是a、b、c中的任意一個的一次或則多次，貪婪：匹配多個
'bc'
>>> pat.findall('adefAbc')
['bc']
# "\A"：匹配字符串開頭
>>> pat = re.compile('\A[abc]+')
>>> pat.findall('cbadefab')
['cba']
>>> pat.search('cbadefab').group()
'cba'
# "\Z"：匹配字符串結尾
>>> pat = re.compile('[abc]+\Z')
>>> pat.search('cbadefab').group()
'ab'
>>> pat.findall('cbadefab')
['ab']4. 分組:這裏有個例子[http://www.cnblogs.com/zhoujinyi/archive/2012/10/29/2745004.html]
| 分組方法 | 描述 |
|---|---|
| | | 左右表達式任意匹配一個，先匹配左邊一旦成功則跳過匹配右邊，如果|沒有包含在()中,匹配整個正則表達式 |
| (…) | 分組匹配,從左到右,每遇到一個 ( 編號+1，分組後面可加數量詞 |
| (?P…) | 除了分組序號外,指定一個 name的別名 |
| \ | 引用編號爲的分組匹配到的字符串 |
| (?P=name) | 引用別名爲的分組匹配到的串 |
使用:
# "(...)" ：在模式裏面用()來表示分組（匿名分組）,適用於提取目標字符串中的某一些部位。
>>> pat=re.compile(r'(a)\w(c)') #\w:單詞字符[A-Za-z0-9]
>>> pat.match('abcdef').group()
'abc'
>>> pat=re.compile('(a)b(c)') #分2組，匿名分組
>>> pat.match('abcdef').group() #默認返回匹配的字符串
'abc'
>>> pat.match('abcdef').group(1) #取分組1，適用於search
'a'
>>> pat.match('abcdef').group(2) #取分組2，適用於search
'c'
>>> pat.match('abcdef').groups() #取所有分組，元組形式返回
('a', 'c')
>>> pat=re.compile(r'www\.(.*)\..{3}')
>>> pat.match('www.dxy.com').group(1)
'dxy'
# "(?P<name>...)" ：在模式裏面用()來表示分組（命名分組）,適用於提取目標字符串中的某一些部位。
>>> pat=re.compile(r'(?P<K>a)\w(c)') #分2組：命名分組+匿名分組
>>> pat.search('abcdef').groups() #取所有分組，元組形式返回
('a', 'c')
>>> pat.search('abcdef').group(1) #取分組1，適用於match
'a'
>>> pat.search('abcdef').group(2) #取分組2，適用於match
'c'
>>> pat.search('abcdef').group() #默認返回匹配的字符串
'abc'
>>> pat.search('abcdef').groupdict() #命名分組可以返回一個字典【專有】，匿名分組也沒有
{'K': 'a'}
# "(?P=name)" ：引用命名分組(別名)匹配：
>>> pat=re.compile(r'(?P<K>a)\w(c)(?P=K)') #(?P=K)引用分組1的值，就是a
>>> pat.search('abcdef').group() #匹配不到，因爲完整'a\wca',模式的第4位是a
Traceback (most recent call last):
File "<stdin>", line 1, in <module>
AttributeError: 'NoneType' object has no attribute 'group'
>>> pat.search('abcadef').group() #匹配到，模式的第4位和組1一樣,值是c
'abca'
>>> pat.search('abcadef').groups()
('a', 'c')
>>> pat.search('abcadef').group(1)
'a'
>>> pat.search('abcadef').group(2)
'c
# "\<number>" ：引用分組編號匹配：
>>> pat=re.compile(r'(?P<K>a)\w(c)(?P=K)\2') #\2引用分組2的值，就是c
>>> pat.findall('Aabcadef') #匹配不到，因爲完整'a\wcac',模式的第5位是c
[]
>>> pat.findall('Aabcacdef') #匹配到，模式的第5位和組2一樣,值是c
[('a', 'c')]
>>> pat.search('Aabcacdef').groups()
('a', 'c')
>>> pat.search('Aabcacdef').group()
'abcac'
>>> pat.search('Aabcacdef').group(1)
'a'
>>> pat.search('Aabcacdef').group(2)
'c'5. 特殊構造
| 方法 | 描述 |
|---|---|
| (?:…) | (…)不分組版本,用於使用 | 或者後接數量 |
| (?iLmsux) | iLmsux的每個字符代表一個匹配模式,只能用在正則表達式的開頭,可選多個 |
| (?#…) | 號後的內容將作爲註釋 |
| (?=…) | 之後的字符串內容需要匹配表達式才能成功匹配 |
| (?!…) | 之後的字符串不匹配表達式才能成功 |
| (?<=…) | 之前的字符串需要匹配表達式才能成功 |
| (? | 之前的字符串需要不匹配表達式才能成功 |
| (?(id/name) yes |no) | 如果編號爲id/名字爲name的組匹配到字符串,則需要匹配yes,否則匹配no,no可以省略 |
使用:
# "(?:...)" ：()裏面有?:表示該()不是分組
>>> pat=re.compile(r'a(?:bc)')
>>> pat.findall('abc')
['abc']
>>> pat.match('abc').groups() #顯示不出分組
()
# "(?=...)"：匹配...表達式，返回。對後進行匹配，總是對後面進行匹配
>>> pat=re.compile(r'\w(?=\d)') #匹配表達式\d，返回數字的前一位，\w：單詞字符[A-Za-z0-9]
>>> pat.findall('abc1 def1 xyz1')
['c', 'f', 'z']
>>> pat.findall('zhoujy20130628hangzhou') #匹配數字的前一位，列表返回
['y', '2', '0', '1', '3', '0', '6', '2']
>>> pat=re.compile(r'\w+(?=\d)')
>>> pat.findall('abc1,def1,xyz1') #匹配最末數字的前字符串，列表返回
['abc', 'def', 'xyz']
>>> pat.findall('abc21,def31,xyz41')
['abc2', 'def3', 'xyz4']
>>> pat.findall('zhoujy20130628hangzhou')
['zhoujy2013062']
>>> pat=re.compile(r'[A-Za-z]+(?=\d)') #[A-Za-z],匹配字母,可以用其他的正則方法
>>> pat.findall('zhoujy20130628hangzhou123') #匹配後面帶有數字的字符串，列表返回
['zhoujy', 'hangzhou']
>>> pat.findall('abc21,def31,xyz41')
['abc', 'def', 'xyz']
# "(?!...)" 不匹配...表達式，返回。對後進行匹配
>>> pat=re.compile(r'[A-Za-z]+(?!\d)') #[A-Za-z],匹配字母,可以用其他的正則方法
>>> pat.findall('zhoujy20130628hangzhou123,12,binjiang310') #匹配後面不是數字的字符串，列表返回
['zhouj', 'hangzho', 'binjian']
>>> pat.findall('abc21,def31,xyz41')
['ab', 'de', 'xy']
# "(?<=...)"：匹配...表達式，返回。對前進行匹配,總是對前面進行匹配
>>> pat=re.compile(r'(?<=\d)[A-Za-z]+') #匹配前面是數字的字母
>>> pat.findall('abc21,def31,xyz41')
[]
>>> pat.findall('1abc21,2def31,3xyz41')
['abc', 'def', 'xyz']
>>> pat.findall('zhoujy20130628hangzhou123,12,binjiang310')
['hangzhou']
# "(?<!...)"：不匹配...表達式，返回。對前進行匹配,總是對前面進行匹配
>>> pat=re.compile(r'(?<!\d)[A-Za-z]+') #匹配前面不是數字的字母
>>> pat.findall('abc21,def31,xyz41')
['abc', 'def', 'xyz']
>>> pat.findall('zhoujy20130628hangzhou123,12,binjiang310')
['zhoujy', 'angzhou', 'binjiang']
#"(?(id/name) yes |no)": 組是否匹配，匹配返回
>>> pat=re.compile(r'a(\d)?bc(?(1)\d)') #no省略了，完整的是a\dbc\d ==> a2bc3,總共5位，第2位是可有可無的數字，第5爲是數字
>>> pat.findall('abc9') #返回組1，但第2位（組1）沒有，即返回了''
['']
>>> pat.findall('a8bc9') #完整的模式，返回組1
['8']
>>> pat.match('a8bc9').group()
'a8bc9'
>>> pat.match('a8bc9').group(1)
'8'
>>> pat.findall('a8bc') #第5位不存在，則沒有匹配到
[]
#"(?iLmsux)":這裏就介紹下i參數：大小寫區分匹配
>>> pat=re.compile(r'abc')
>>> pat.findall('abc')
['abc']
>>> pat.findall('ABC')
[]
>>> pat=re.compile(r'(?i)abc') #(?i) 不區分大小寫
>>> pat.findall('ABC')
['ABC']
>>> pat.findall('abc')
['abc']
>>> pat.findall('aBc')
['aBc']
>>> pat.findall('aBC')
['aBC']
>>> pat=re.compile(r'abc',re.I) #re.I 作爲參數使用，推薦
>>> pat.findall('aBC')
['aBC']
>>> pat.findall('abc')
['abc']
>>> pat.findall('ABC')
['ABC']總結：
正則表達式的功能很強大，上面所寫的只是其中的一點知識。更多的一些說明信息請見：http://www.cnblogs.com/huxi/archive/2010/07/04/1771073.html