Python - 爬取图片并下载到本地

import requests             #用来模拟浏览器发送网络请求
from lxml import etree      #解析数据
from urllib import request  #下载保存urlretrive()
import time                 #time.sleep让程序延迟几秒再进行

# 函数的封装 def
def huya_spider():
    # 请求数据:
    url = 'https://www.huya.com/g/2168#tag2609'
    User_Agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36"
    headers = {
        'User_Agent':User_Agent
    }
    res = requests.get(url)
    result = res.text
    print(res)


    data = etree.HTML(result)
    alist = data.xpath('//img[@class="pic"]')

    cnt = 0

    for woman in alist:
        cnt = cnt + 1
        # 通过已经筛选的数据进行获取对应的图片
        img = woman.xpath('./@data-original')[0]
        img = img.split("?")[0]

        #进行保存数据
        name = woman.xpath('./@alt')[0]

        path = 'D:\\img\\'

        #下载保存
        #异常处理
        try:
            print(img)
            path2 = path + str(cnt) + ".png"
            print(path2)
            request.urlretrieve(img, path2)
        except Exception as e:
            print(e)
            pass

        #显示打印进度
        # print("<%s> 下载完毕!" % name)

        time.sleep(3)


huya_spider()

# print("Hello World!")

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章