Python爬取煎蛋網圖片

.請求網頁函數

def get_url(url):

html = requests.get(url, headers=header).content.decode('utf-8')

return html

以get方式請求，加入headers參數傳遞頭信息;抓取其二進制碼並以“utf-8”形式編碼，並返回;

.解析網頁，提取圖片鏈接

def parsel_url(html):

etree_html=etree.HTML(html)

img_urls=etree_html.xpath("//div[@class='row']/div[@class='text']/p/img/@src")

return img_urls

利用xpath語法提取圖片鏈接

.下載圖片並保存

#循環下載;下載4頁，range左閉右開

for i in range(5):

#輸入網址，找到網址規律

url = '

#請求網頁

html=get_url(url)

#解析網頁，提取圖片鏈接Exness返傭

img_urls = parsel_url(html)

for img_url in img_urls:

#因爲提取的網頁鏈接不是網址標準形式，需要完善

response = requests.get('http:' + img_url, headers=header).content

#圖片以二進制形式保存

with open("F://picture3//" + str(name) + '.jpg', 'wb') as f:

f.write(response)

#下載提示

print('正在下載第{}張'.format(name))

name += 1

利用name變量提示下載圖片數量

完整代碼

import requests

from lxml import etree

#用戶代理

header={

'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36'

}

#用name表示下載的名字

name=1

#請求網頁函數

def get_url(url):

html = requests.get(url, headers=header).content.decode('utf-8')

return html

#解析網頁

def parsel_url(html):

etree_html=etree.HTML(html)

img_urls=etree_html.xpath("//div[@class='row']/div[@class='text']/p/img/@src")

return img_urls

#循環下載;下載4頁，range左閉右開

for i in range(5):

#輸入網址，找到網址規律

url =

#請求網頁

html=get_url(url)

#解析網頁，提取圖片鏈接

img_urls = parsel_url(html)

for img_url in img_urls:

#因爲提取的網頁鏈接不是網址標準形式，需要完善

response = requests.get('http:' + img_url, headers=header).content

#圖片以二進制形式保存

with open("F://picture3//" + str(name) + '.jpg', 'wb') as f:

f.write(response)

#下載提示

print('正在下載第{}張'.format(name))

name += 1