抓取百度上的圖片鏈接

採用urllib

最開始打算用入門級別的 urllib，不過出現了很多問題

keyword = '回族明星'
# 使用baidu的搜索功能,經過測試發現不能用https，非常頭疼
baiduUrl = 'http://www.baidu.com/s?wd='

import urllib.request
keywordCoding = urllib.request.quote(keyword)
req = urllib.request.Request(baiduUrl+keywordCoding, method = 'GET')
data = urllib.request.urlopen(req,timeout=50)
d = data.read()
# 得到html，decode用於解碼，使用'utf-8'
html = d.decode('UTF-8')

雖然抓取到了 html 不過和正常https得到的圖片url不一致，只能在同一個瀏覽器使用對應的url，否則無法下載圖片。因此還是需要採用https的方法發出請求。

使用selenium

selenium使用時需要瀏覽器和瀏覽器驅動支持，此處選擇了chrome瀏覽器，配以chromedriver，這個驅動只能翻牆下載，大家就自求多福吧。

安裝完成後，還需要

pip install beautifulsoup4

用於進行html的解析。

具體的代碼見下面

#!/usr/bin/python
# -*- coding: UTF-8 -*-

from selenium import webdriver
import urllib.request
from bs4 import BeautifulSoup 
import requests
import sys,os
#這部分判斷命令行參數，不重要
if len(sys.argv)>1:
    keyword = sys.argv[1]
else:
    keyword = input('輸入某個民族比如"回族明星":')
# 這部分創建文件夾，不重要
if os.path.exists(keyword):
    print("將重寫{}文件夾".format(keyword))
else:
    print('創建{}文件夾'.format(keyword))
    os.mkdir(keyword)
# 這部分採用selenium進行抓取，用beautifulsoup進行html解析
keywordCoding = urllib.request.quote(keyword)
baiduUrl = 'https://www.baidu.com/s?wd='
browser = webdriver.Chrome()
print('向百度發起請求')
browser.get(baiduUrl + keywordCoding)
print('抓取完畢')
html = browser.page_source

soup =  BeautifulSoup(html, 'html.parser')
img = soup.find_all(attrs='op_exactqa_item_img')
for im in img:
    print('從{}獲取{}明星圖片'.format(im.img['src'],im.a['title']))
    r = requests.get(im.img['src'])
    with open(keyword+'/'+im.a['title']+'.png','wb') as opt:
        opt.write(r.content)

browser.quit()