import requests #用来模拟浏览器发送网络请求
from lxml import etree #解析数据
from urllib import request #下载保存urlretrive()
import time #time.sleep让程序延迟几秒再进行
# 函数的封装 def
def huya_spider():
# 请求数据:
url = 'https://www.huya.com/g/2168#tag2609'
User_Agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36"
headers = {
'User_Agent':User_Agent
}
res = requests.get(url)
result = res.text
print(res)
data = etree.HTML(result)
alist = data.xpath('//img[@class="pic"]')
cnt = 0
for woman in alist:
cnt = cnt + 1
# 通过已经筛选的数据进行获取对应的图片
img = woman.xpath('./@data-original')[0]
img = img.split("?")[0]
#进行保存数据
name = woman.xpath('./@alt')[0]
path = 'D:\\img\\'
#下载保存
#异常处理
try:
print(img)
path2 = path + str(cnt) + ".png"
print(path2)
request.urlretrieve(img, path2)
except Exception as e:
print(e)
pass
#显示打印进度
# print("<%s> 下载完毕!" % name)
time.sleep(3)
huya_spider()
# print("Hello World!")
Python - 爬取图片并下载到本地
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.