【一、項目背景】
博海拾貝是一支互聯網從業者在線教育的團隊,紮根於中國教育行業以及互聯網行業的創新和眼球中,打造專業體系化的互聯網人在線教育平臺。精心創作許多精彩的文章,提供了很多有趣的圖片。
今天來教大家如何使用Python來爬取博海拾貝的圖片,分類保存,寫入文檔。
【二、項目目標】
創建一個文件夾, 分類保存所有文章圖片。下載成功,結果顯示控制檯。
【三、項目分析】
1、如何找到真正訪問的地址,多網頁請求?
滑動鼠標,觀察網站,右鍵F12 。鼠標滾輪滑動加載新內容。如圖:
點開隨機網頁 , 點開Request URL ,觀察網址的規律。
https://bh.sb/page/1/
https://bh.sb/page/2/
https://bh.sb/page/3/
https://bh.sb/page/4/
觀察到,每增加一頁page/{}/自增加1,用{}代替變換的變量,再用for循環遍歷這網址,實現多個網址請求。
2. 反爬處理
1)獲取正常的 http請求頭,並在requests請求時,設置這些常規的http請求頭。
2)使用 fake_useragent ,產生隨機的UserAgent進行訪問。
【四、涉及的庫和網站】
1、網址如下:
https://www.doutula.com/photo/list/?page={}
2、涉及的庫:requests、lxml、fake_useragent、time、os
3、軟件:PyCharm
【五、項目實施】
1、我們定義一個class類繼承object,然後定義init方法繼承self,再定義一個主函數main繼承self。導入需要的庫和網址,創建保存文件夾。
import requests, os
from lxml import etree
from fake_useragent import UserAgent
import time
class bnotiank(object):
def __init__(self):
os.mkdir("圖片") # 在創建文件夾 記住只有第一次運行加上,如果多次運行請註釋掉本行。
def main(self):
pass
if __name__ == '__main__':
Siper=bnotiank()
Siper.main()
2、隨機UserAgent ,構造請求頭,防止反爬。
ua = UserAgent(verify_ssl=False)
for i in range(1, 50):
self.headers = {
'User-Agent': ua.random
}
3、發送請求 ,獲取響應,頁面回調,方便下次請求。
'''發送請求 獲取響應'''
def get_page(self, url):
res = requests.get(url=url, headers=self.headers)
html = res.content.decode("utf-8")
return html
4、定義parse_page函數,獲取二級頁面地址,for遍歷獲取需要的字段。
def parse_page(self, html):
parse_html = etree.HTML(html)
image_src_list = parse_html.xpath('//p/a/@href')
# print(image_src_list)
5、對二級頁面發生請求,xpath解析數據,獲取大圖片鏈接。
reo = parse_html1.xpath('//div//div[@class="content"]') #父結點
for j in reo:
d = j.xpath('.//article[@class="article-content"]//p/img/@src')[0]
text = parse_html1.xpath('//h1[@class ="article-title"] //a/text()')[0].strip()
6、請求圖片地址,寫入文檔。
html2 = requests.get(url=d, headers=self.headers).content
dirname = "./d/" + text + ".jpg" #定義圖命名
with open(dirname, 'wb') as f:
f.write(html2)
print("%s 【下載成功!!!!】" % text)
7、調用方法,實現功能。
url = self.url.format(page)
print(url)
html = self.get_page(url)
self.parse_page(html)
8、設置延時。(防止ip被封)。
time.sleep(1) """時間延時"""
【六、效果展示】
1、點擊綠色小三角運行輸入起始頁,終止頁。
2、將下載成功信息顯示在控制檯。
3、text 作爲圖片命名,展示效果如下所示。
【七、總結】
1、不建議抓取太多數據,容易對服務器造成負載,淺嘗輒止即可。
2、本文基於Python網絡爬蟲,講述了反爬技巧,利用爬蟲庫,實現了分類圖片的獲取,存入文檔。
3、希望通過這個項目,能夠幫助瞭解xpath,字符串是如何拼接,format函數如何運用。
4、實現的時候,總會有各種各樣的問題,切勿眼高手低,勤動手,纔可以理解的更加深刻。
5、需要本文源碼的小夥伴,後臺回覆“博海拾貝”四個字,即可獲取。
想學習更多Python網絡爬蟲與數據挖掘知識,可前往專業網站:http://pdcfighting.com/