經常在逛知乎,有時候希望把一些問題的圖片集中保存起來。於是就有了這個程序。這是一個非常簡單的圖片爬蟲程序,只能爬取已經刷出來的部分的圖片。由於對這一部分內容不太熟悉,所以只是簡單說幾句然後記錄代碼,不做過多的講解。感興趣的可以直接拿去用。親測對於知乎等網站是可用的。
上一篇分享了通過url打開圖片的方法,目的就是先看看爬取到的圖片時什麼樣,然後再篩選一下保存。
這裏用到了requests庫來獲取頁面信息,需要注意的是,獲取頁面信息的時候需要一個header,用以把程序僞裝成瀏覽器去訪問服務器,不然可能會被服務器拒絕。然後用BeautifulSoup來過濾多餘信息得到圖片地址。得到圖片後,根據圖片的大小過濾掉一些頭像、表情包之類的小圖片。最後打開或者保存圖片的時候選擇就比較多了,opencv,skimage,PIL等都可以。
程序如下:
# -*- coding=utf-8 -*-
import requests as req
from bs4 import BeautifulSoup
from PIL import Image
from io import BytesIO
import os
from skimage import io
url = "https://www.zhihu.com/question/37787176"
headers = {'User-Agent' : 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.96 Mobile Safari/537.36'}
response = req.get(url,headers=headers)
content = str(response.content)
#print content
soup = BeautifulSoup(content,'lxml')
images = soup.find_all('img')
print u"共有%d張圖片" % len(images)
if not os.path.exists("images"):
os.mkdir("images")
for i in range(len(images)):
img = images[i]
print u"正在處理第%d張圖片..." % (i+1)
img_src = img.get('src')
if img_src.startswith("http"):
## use PIL
'''
print img_src
response = req.get(img_src,headers=headers)
image = Image.open(BytesIO(response.content))
w,h = image.size
print w,h
img_path = "images/" + str(i+1) + ".jpg"
if w>=500 and h>500:
#image.show()
image.save(img_path)
'''
## use OpenCV
import numpy as np
import urllib
import cv2
resp = urllib.urlopen(img_src)
image = np.asarray(bytearray(resp.read()), dtype="uint8")
image = cv2.imdecode(image, cv2.IMREAD_COLOR)
w,h = image.shape[:2]
print w,h
img_path = "images/" + str(i+1) + ".jpg"
if w>=400 and h>400:
cv2.imshow("Image", image)
cv2.waitKey(3000)
##cv2.imwrite(img_path,image)
## use skimage
## image = io.imread(img_src)
## w,h = image.shape[:2]
## print w,h
#io.imshow(image)
#io.show()
## img_path = "images/" + str(i+1) + ".jpg"
## if w>=500 and h>500:
## image.show()
## image.save(img_path)
## io.imsave(img_path,image)
print u"處理完成!"
這裏給出了多種選擇,供參考。
公衆號CVPy,分享OpenCV和Python的實戰內容。每一篇都會放出完整的代碼。歡迎關注。