Python 爬虫库以及库函数总结&&踩坑

 

1. Re库的基本使用

  • Re库介绍:

    • Re库是Python的标准库,主要用于字符串匹配。

    • 调用方式:import re

  • 正则表达式的表示类型:

    • raw string类型(原生字符串类型):

      • re库采用raw string类型表示正则表达式,表示为:r'text'

      • 例如:r'[1-9]\d{5}'

      • raw string是指不包含转义符的字符串

    • string类型,更繁琐。

      • 例如:'[1-9]\\d{5}';'\\d{3}-\\d{8}|\\d{4}-\\d{7}'

    当正则表达式包含转义符时,建议使用raw string类型来表示正则表达式。

  • Re库主要功能函数:

函数

说明

re.search()

在一个字符串中搜索匹配正则表达式的第一个位置,返回match对象

re.match()

从一个字符串的开始位置起匹配正则表达式,返回match对象

re.findall()

搜索字符串,以列表类型返回全部能匹配的字符串

re.split()

将一个字符串按照正则表达式匹配结果进行分割,返回列表类型

re.finditer()

搜索字符串,返回一个匹配结果的迭代类型,每个迭代元素是match对象

re.sub()

在一个字符串中替换所有匹配正则表达式的子串,返回替换后的字符串

re.compile() 返回的是一个匹配对象,它单独使用就没有任何意义,需要和findall(), search(), match()搭配使用。 
  • re.search(pattern,string,flags=0)

    • 在一个字符串中搜索匹配正则表达式的第一个位置,返回match对象。

      • pattern:正则表达式的字符串或原生字符串表示

      • string:待匹配字符串

      • flags:正则表达式使用时的控制标记

        • re.I(re.IGNORECASE):忽略正则表达式的大小写,[A-Z]能够匹配小写字符

        • re.M(re.MULTILINE):正则表达式中的^操作符能够将给定字符串的每行当作匹配开始

        • re.S(re.DOTALL):正则表达式中的.操作符能够匹配所有字符,默认匹配除换行外的所有字符****!!!!****

                          

  • re.match(pattern, string, flags = 0)

    • 从一个字符串的开始位置起匹配正则表达式,返回match对象。

      • pattern:正则表达式的字符串或原生字符串表示

      • string:待匹配字符串

      • flags:正则表达式使用时的控制标记

                            

  • re.findall(pattern, string, flags = 0)

    • 搜索字符串,以列表类型返回全部能匹配的子串。

      • pattern:正则表达式的字符串或原生字符串表示

      • string:待匹配字符串

      • flags:正则表达式使用时的控制标记

                            

  • re.split(pattern, string, maxsplit = 0, flags = 0)

    • 搜索字符串,以列表类型返回全部能匹配的子串。

      • pattern:正则表达式的字符串或原生字符串表示

      • string:待匹配字符串

      • maxsplit:最大分割数,剩余部分作为最后一个元素输出

      • flags:正则表达式使用时的控制标记

                            

  • re.finditer(pattern, string, flags = 0)

    • 搜索字符串,返回一个匹配结果的迭代类型,每个迭代元素是match对象。

      • pattern:正则表达式的字符串或原生字符串表示

      • string:待匹配字符串

      • flags:正则表达式使用时的控制标记

                               

  • re.compile()

    compile()的定义:

    compile(pattern, flags=0) 
    Compile a regular expression pattern, returning a pattern object.

    从compile()函数的定义中,可以看出返回的是一个匹配对象,它单独使用就没有任何意义,需要和findall(), search(), match()搭配使用。 
    compile()与findall()一起使用,返回一个列表。

    import re
    
    def main():
        content = 'Hello, I am Jerry, from Chongqing, a montain city, nice to meet you……'
        regex = re.compile('\w*o\w*')
        x = regex.findall(content)
        print(x)
    
    
    if __name__ == '__main__':
        main()
    # ['Hello', 'from', 'Chongqing', 'montain', 'to', 'you']


    compile()与match()一起使用,可返回一个class、str、tuple。但是一定需要注意match(),从位置0开始匹配,匹配不到会返回None,返回None的时候就没有span/group属性了,并且与group使用,返回一个单词‘Hello’后匹配就会结束。

    import re
    
    def main():
        content = 'Hello, I am Jerry, from Chongqing, a montain city, nice to meet you……'
        regex = re.compile('\w*o\w*')
        y = regex.match(content)
        print(y)
        print(type(y))
        print(y.group())
        print(y.span())
    
    
    if __name__ == '__main__':
        main()
    # <_sre.SRE_Match object; span=(0, 5), match='Hello'>
    # <class '_sre.SRE_Match'>
    # Hello
    # (0, 5)

    compile()与search()搭配使用, 返回的类型与match()差不多, 但是不同的是search(), 可以不从位置0开始匹配。但是匹配一个单词之后,匹配和match()一样,匹配就会结束。

     

  • re.sub(pattern, repl, string, count = 0, flags = 0)

    • 在一个字符串中替换所有匹配正则表达式的子串,返回替换后的字符串。

      • pattern:正则表达式的字符串或原生字符串表示

      • repl:替换匹配字符串的字符串

      • string:待匹配字符串

      • count:匹配的最大替换次数

      • flags:正则表达式使用时的控制标记

                            

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章