在爬取网页信息时，如果在HTML代码中通过获取标签的方式来提取电影的下载地址时，不仅要编写比较多的代码，还需要不断的确认每一层的标签是否正确，这样的操作无疑是烦琐的。如下图所示。那么通过什么方式既可以减少代码量，又可以很简单的提取指定标签的内容呢？本文将实现通过正则表达式快速获取电影的下载地址。如果对正则表达式不熟悉的读者，点击 此处 学习正则表达式。
在爬取网页信息的任务中，可以使用正则表达式的方式快速的提取某个标签内的指定信息，以爬取电影的下载地址为例。本案例需要注意编码格式的问题，单击鼠标右键，如图所示查看网页编码：
代码如下：
import re
import requests
def get_movies(url):
# 构造请求头
headers = {
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/53"
"7.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36"
}
response = requests.get(url, headers=headers) # 发送请求
response.encoding = "gb2312" # 设置编码方式
# 判断请求是否成功 根据状态码是否等于200来判断
if response.status_code == 200:
# 获取每个电影详情页地址，通过正则表达式提取电影详情页地址
# <a href="/html/gndy/dyzz/20200411/59903.html" class="ulink">2020年动作《绝地战警：疾速追击》BD中英双字幕</a>
movies_info = re.findall(r'<a href="(.*?)" class="ulink">', response.text) # 返回符合表达式规则的数据列表
print(len(movies_info))
for url in movies_info: # 循环每个电影的详情页地址
info_url = "https://www.ygdy8.net" + url # 拼接完整地址
# 对电影详情页发送请求
movies_info_response = requests.get(info_url, headers=headers)
movies_info_response.encoding = "gb2312" # 设置编码方式
# 通过表达式匹配电影的下载地址
download_url = re.findall(r'<a href=".*?">(.*?)</a></td>', movies_info_response.text)
print(download_url)
if __name__ == '__main__':
get_movies("https://www.ygdy8.net/html/gndy/dyzz/index.html")
运行结果如下：
['ftp://ygdy8:[email protected]:8014/阳光电影www.ygdy8.com.名字之歌.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:6015/阳光电影www.ygdy8.com.我仍然相信.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:8018/阳光电影www.ygdy8.com.阿肯色.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:4028/阳光电影www.ygdy8.com.惊天营救.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:8067/阳光电影www.ygdy8.com.狩猎的时间.BD.1080p.韩语中字.mkv']
['ftp://ygdy8:[email protected]:7018/阳光电影www.ygdy8.com.7号房的礼物.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:8017/阳光电影www.ygdy8.com.格蕾特和韩塞尔.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:3028/阳光电影www.ygdy8.com.看不见的女人.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:7067/阳光电影www.ygdy8.com.我们永不言弃.HD.1080p.国语中字.mkv']
['ftp://ygdy8:[email protected]:4026/阳光电影www.ygdy8.com.军人的妻子.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:6014/阳光电影www.ygdy8.com.匹诺曹.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:4025/阳光电影www.ygdy8.com.叶问4：完结篇.BD.1080p.国粤双语中字.mkv']
['ftp://ygdy8:[email protected]:3024/阳光电影www.ygdy8.com.节奏组.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:8013/阳光电影www.ygdy8.com.江湖儿女.BD.1080p.国语中字.mkv']
['ftp://ygdy8:[email protected]:3026/阳光电影www.ygdy8.com.琼斯先生.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:7013/阳光电影www.ygdy8.com.地球最后的夜晚.BD.1080p.国语中字.mkv']
['ftp://ygdy8:[email protected]:3023/阳光电影www.ygdy8.com.梦幻岛.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:4023/阳光电影www.ygdy8.com.拧紧.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:4026/阳光电影www.ygdy8.com.悲惨世界.BD.1080p.法语中字.mkv']
['ftp://ygdy8:[email protected]:4022/阳光电影www.ygdy8.com.真人快打传奇：蝎子的复仇.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:7016/阳光电影www.ygdy8.com.我的间谍.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:3021/阳光电影www.ygdy8.com.从不，很少，有时，总是.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:4025/阳光电影www.ygdy8.com.绝地战警：疾速追击.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:3020/阳光电影www.ygdy8.com.绅士们.BD.1080p.中英双字幕.mkv']
['ftp://ygdy8:[email protected]:8065/阳光电影www.ygdy8.com.二分之一的魔法.BD.1080p.中英双字幕.mkv']