轉載：爬蟲學習

轉載：https://zhuanlan.zhihu.com/p/57780822

在大佬的教程下一些自己的理解.

主頁網址唯一圖庫
直接點到末頁，852頁。。

右鍵點擊一個圖片鏈接，選擇審查元素

這裏的img是就封面，如果只抓取封面的話，到這就可以了，但是我們取的是所有圖片，所以這裏我們獲取的是這個詳情頁的a鏈接：http://www.mmonly.cc/mmtp/xgmn/181603.html，這就是第一個圖集的鏈接，然後每頁有24個圖集。一共852頁，我們點擊下一頁查看下網址變化，http://www.mmonly.cc/mmtp/list_9_2.html,頁數變成2，所以我們這裏直接循環，然後獲取每一頁上的圖集a鏈接：

import requests
from lxml import html
for page in range(1,852):
    url='http://www.mmonly.cc/mmtp/list_9_%s.html'%page
    response=requests.get(url,verify=False).text
    selector=html.fromstring(response)
    imgEle=selector.xpath('//div[@class="ABox"]/a')
    for img in imgEle:
        imgUrl=img.xpath('@href')[0]
        print(imgUrl)

這樣，我們就獲取到了所有的主要鏈接，每頁24個，2w+個。
這裏用的是xpath:https://www.jianshu.com/p/85a3004b5c06 

xpath用於獲取匹配的元素。/  爲子目錄

然後我們點開一個鏈接，看一下詳情頁，發現網址沒有變化，點下一頁，同樣的是網址後面加了頁數：http://www.mmonly.cc/mmtp/xgmn/181603_2.html，有點區別的地方就是我們不知道每個圖集有多少頁，所以這裏再單獨獲取一下，同樣的右擊審查元素。

 

for img in imgEle:
        imgUrl=img.xpath('@href')[0]
        response=requests.get(imgUrl,verify=False).text
        selector = html.fromstring(response)
        pageEle = selector.xpath('//div[@class="wrapper clearfix imgtitle"]/h1/span/span[2]/text()')[0]
        print(pageEle)

這裏我們如願獲取到15。
之後就是訪問每一頁，獲取高清大圖了，以及圖片的保存。urllib.request.urlretrieve（url,path）簡單下載圖片，參數爲圖片鏈接和下載的本地路徑。
完整代碼如下：(這裏我圖片命名是第幾頁第幾個圖集的第幾張圖片，所以看着有些亂)

urllib.request.urlretrieve：將遠程數據下載到本地。

https://blog.csdn.net/u012424313/article/details/82222188

import requests
from lxml import html
import os
import urllib
import time

img_save_path = os.getcwd()+"\meizi"

for page in range(1,2):
    url='http://www.mmonly.cc/mmtp/list_9_%s.html'%page
    response=requests.get(url,verify=False).text
    selector=html.fromstring(response)
    imgEle=selector.xpath('//div[@class="ABox"]/a')
    for index, img in enumerate(imgEle):
        imgUrl = img.xpath('@href')[0]
        response = requests.get(imgUrl, verify=False).text
        selector = html.fromstring(response)
        pageEle = selector.xpath('//div[@class="wrapper clearfix imgtitle"]/h1/span/span[2]/text()')[0]
        # print(pageEle)
        imgE = selector.xpath('//a[@class="down-btn"]/@href')[0]

        #creat file folder for save image
        if not os.path.exists(img_save_path):
            os.makedirs(img_save_path)

        #the name of image
        imgName = '%s_%s_1.jpg' % (page, str(index + 1))
        coverPath = os.path.join(img_save_path,imgName)

        #download the image by url
        urllib.request.urlretrieve(imgE, coverPath)
        for page_2 in range(2, int(pageEle) + 1):
            url = imgUrl.replace('.html', '_%s.html' % str(page_2))
            response = requests.get(url).text
            selector = html.fromstring(response)
            imgEle = selector.xpath('//a[@class="down-btn"]/@href')[0]
            # print(imgEle)
            imgName = '%s_%s_%s.jpg' % (page, str(index + 1), page_2)
            coverPath = os.path.join(img_save_path,imgName)
            urllib.request.urlretrieve(imgEle, coverPath)
        time.sleep(2)