網絡爬蟲(一)——正則表達式

初學網絡爬蟲,記錄一下小白爬蟲的爬行軌跡:

正則表達式:

(對於爬取的json格式的內容(它是字典格式的數據,但其實是一個大的字符串),我們可以使用正則表達式來進行匹配、提取想要的信息)
那麼什麼是正則表達式呢?
例如
colou?r 可以匹配 color 或者 colour,? 問號代表前面的字符最多隻可以出現一次(0次、或1次)。
runoo+b可以匹配 runoob、runooob、runoooooob 等,+ 號代表前面的字符必須至少出現一次(1次或多次)。
runoo*b可以匹配 runob、runoob、runoooooob 等,* 號代表字符可以不出現,也可以出現一次或者多次(0次、或1次、或多次)。

所以正則表達式(regular expression)描述了一種字符串匹配的模式(pattern),
可以用來檢查一個串是否含有某種子串、將匹配的子串替換或者從某個串中取出符合某個條件的子串等。
構造正則表達式的方法和創建數學表達式的方法一樣。也就是用多種元字符與運算符可以將小的表達式結合在一起來創建更大的表達式。
正則表達式的組件可以是單個的字符、字符集合、字符範圍、字符間的選擇或者所有這些組件的任意組合。
正則表達式是由普通字符(例如字符 a 到 z)以及特殊字符(稱爲"元字符")組成的文字模式。文字模式描述在搜索文本時要匹配的一個或多個字符串。
正則表達式作爲一個模板,將某個字符模式與所搜索的字符串進行匹配。

特殊字符
所謂特殊字符,就是一些有特殊含義的字符,如上面說的 runoo*b 中的* ,*就是特殊字符。
如果要查找字符串中的 * 符號,則需要對 * 進行轉義,即在其前加一個 \: runo\*ob 匹配 runo*ob。
許多元字符要求在試圖匹配它們時特別對待。若要匹配這些特殊字符,必須首先使字符"轉義",即,將反斜槓字符\ 放在它們前面。

下表列出了正則表達式中的特殊字符:
$ 匹配輸入字符串的結尾位置。如果設置了 RegExp 對象的 Multiline 屬性,則 $ 也匹配 ‘\n’ 或 ‘\r’。要匹配 $ 字符本身,請使用\ $。
( ) 標記一個子表達式的開始和結束位置。在使用re.findall()函數時,括號中的子表達式可以獲取供以後使用。要匹配這些字符,請使用 \( 和\)。
* 匹配前面的子表達式零次或多次。要匹配 * 字符請使用\*。
+ 匹配前面的子表達式一次或多次。要匹配 + 字符請使用\+。
. 匹配除換行符 \n 之外的任何單字符。要匹配 . 請使用 \. 。
[ 標記一箇中括號表達式的開始。要匹配 [,請使用 \[。
? 匹配前面的子表達式零次或一次,或指明一個非貪婪限定符。要匹配 ? 字符,請使用 \?。
** 將下一個字符標記爲或特殊字符、或原義字符、或向後引用、或八進制轉義符。例如, ‘n’ 匹配字符 ‘n’。’\n’ 匹配換行符。序列 ‘\\’ 匹配 “\”,而 ‘\(’ 則匹配 “(”。
^ 匹配輸入字符串的開始位置,除非在方括號表達式中使用,當該符號在方括號表達式中使用時,表示不接受該方括號表達式中的字符集合。要匹配 ^ 字符本身,請使用 \^。
{ 標記限定符表達式的開始。要匹配 {,請使用 \{。
| 指明兩項之間的一個選擇。要匹配 |,請使用 \|。

限定符
限定符用來指定正則表達式的一個給定組件必須要出現多少次才能滿足匹配。有 * 或 + 或 ? 或 {n} 或 {n,} 或 {n,m} 共6種。
正則表達式的限定符有:
* 匹配前面的子表達式零次或多次。例如,zo* 能匹配 “z” 以及 “zoo”。* 等價於{0,}。
+ 匹配前面的子表達式一次或多次。例如,‘zo+’ 能匹配 “zo” 以及 “zoo”,但不能匹配 “z”。+ 等價於 {1,}。
? 匹配前面的子表達式零次或一次。例如,“do(es)?” 可以匹配 “do” 、 “does” 中的 “does” 、 “doxy” 中的 “do” 。? 等價於 {0,1}。
{n} n 是一個非負整數。匹配確定的 n 次。例如,‘o{2}’ 不能匹配 “Bob” 中的 ‘o’,但是能匹配 “food” 中的兩個 o。
{n,} n 是一個非負整數。至少匹配n 次。例如,‘o{2,}’ 不能匹配 “Bob” 中的 ‘o’,但能匹配 “foooood” 中的所有 o。‘o{1,}’ 等價於 ‘o+’。‘o{0,}’ 則等價於 ‘o*’。
{n,m} m 和 n 均爲非負整數,其中n <= m。最少匹配 n 次且最多匹配 m 次。例如,“o{1,3}” 將匹配 “fooooood” 中的前三個 o。‘o{0,1}’ 等價於 ‘o?’。請注意在逗號和兩個數之間不能有空格。

*+ 限定符都是貪婪的,因爲它們會盡可能多的匹配文字,只有在它們的後面加上一個**?**就可以實現非貪婪或最小匹配。

下面幾個正則子表達式經常用到:
. 匹配除換行符以外的任意字符
\w 匹配字母或數字或下劃線等價於 [^A-Za-z0-9_],還包含了希臘字母,俄文的字母,漢字。
\s 匹配任意的空白符
\d 匹配數字

具體的舉例,看下一個微博的爬取北京地鐵信息,並繪製線路圖的例子。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章