python3 爬“鬥圖啦”

接觸了一個多月的python,終於可以小小露一手了。手法之拙略就不得不恭維了,哈哈,


環境win7系統,Python3.6,Pycharm2017社區版,還有Google瀏覽器(官網均可下載)


http://www.doutula.com


需要的模塊requests, lxml, BeautifulSoup, 

import requests
import lxml
from bs4 import BeautifulSoup

說明一下,下載很多網站都有了反爬機制,所以道高一尺,魔高一丈了,我們模擬瀏覽器去訪問網站,

也就是獲得

User-Agent:

Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.81 Safari/537.36


方法:隨便打開網頁 F12 --Network --F5 --Headers -- User-Agent

wKiom1kIV-GDRLO5AAEz-pEq79w918.jpg-wh_50

代碼來了

start_url = "http://www.doutula.com/arcticle/list/?page=1"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/57.0.2987.133 Safari/537.36'}

start_html = requests.get(url=url, headers=headers).content
#print(start_html)

soup = BeautifulSoup(start_html,'lxml')  ##lxml 解析網頁的
all_a = soup.find_all('a',attrs={'class':'list-group-item'})

for a in all_a:
    #title = a.h4.get_text()
    url = a['href']
    #print(title,url)

wKiom1kIWwiiQbQCAAHKLlf3tHA893.png-wh_50

每一套“鬥圖”對應一個 a 標籤,所以直接find_all('a',attrs={'class':'list-group-item'}),謝謝站長佈局如此規律。

注意這是上面代碼的繼續,所以注意 縮進

img_html = requests.get(url,headers=header).text
img_soup = lxml.etree.HTML(img_html)  ##打印源碼,自動修正html
img_items = img_soup.xpath('//div[@class="artile_des"]')
for item in img_items:
    imgurl_list = item.xpath('table/tbody/tr/td/a/img/@src')[0]  ##[0]取list的第一個元素
    print("正在下載"+imgurl_list)
    imgcontent = requests.get(imgurl_list).content ##換成text會報錯no 'str'
    with open('doutu/%s' % imgurl_list.split('/')[-1],'wb') as f:  ##doutu是文件夾,需要自己提前創建
        f.write(imgcontent)

wKiom1kKdDTRamEkAACylVKiubw823.jpg-wh_50

然後就有你要的圖了,一個一個,據說還可以多線程下載,當然需要另一個模塊(threading)了的,

下次見


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章