Python3爬蟲學習-爬取圖片批量下載 XPATH

最近在研究爬蟲，爬取好多網站的數據，下面就以爬取圖片網站照片爲例，來讓大家學習，希望大家多交流。總的來說爬蟲不難，會python的簡單語法，會xpath提取網頁需要的信息，就可以很快的爬取網站的圖片，同時也希望以此來激起大家學習的興趣。

文章導航

一、環境

**目標網站：**圖片網

**環境：**Python3.0以上版本 windows親測可以，linux下應該也是沒有問題

**第三方模塊：**requests、xpath

**測試：**保存下面代碼爲xx.py，使用 python xx.py 或IDE或者pycharm直接運行即可。

二、源碼

如需完整的工程源碼請點擊此處===》

# -*- coding: utf-8 -*-
# 作者: 廢人一枚
# 出自:  北京
# 創建時間: 12:22
import requests
import os
import time
from lxml import etree

requests.adapters.DEFAULT_RETRIES = 5
s = requests.session()
s.keep_alive = False

all_url = 'http://www.tupian.com'

# 圖片保存地址，修改爲你保存的路徑
#path = 'D:/python/爬蟲/MZ/'
# 獲取每一類的網址
same_url = 'http://www.tupian.com/page/'  # 也可以指定其它的路徑下的圖片
# http請求頭  User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36
Hostreferer = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36',
    'Referer': 'http://www.tupian.com'
}
# 此請求頭Referer破解盜圖鏈接
Picreferer = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36',
    'Referer': 'http://i3.mmzztt.com'
}
# 對mzitu主頁所有url發起請求，將返回的HTML數據保存，便於解析
index_html = requests.get(all_url, headers=Hostreferer)
#print(index_html.text)
# 獲取最大頁數
content = etree.HTML(index_html.text)
page_num = content.xpath("//div[@class='nav-links']/a/text()")
max_page = page_num[-2]
print("圖片總共頁碼爲："+max_page)
for n in range(1, int(max_page) + 1):
    # 拼接當前url eg：https://www.tupian.com/page/1
    ul = same_url + str(n)
    print(ul)
    time.sleep(1)
    # 分別對當前類每一頁第一層url發起請求，進入第n頁
    two_html = requests.get(ul, headers=Hostreferer)
    #print(two_html.text)
    content = etree.HTML(two_html.text)
    urls  = content.xpath("//div[@class='postlist']/ul/li/a/@href")
    names = content.xpath("//div[@class='postlist']/ul/li/a/img/@alt")
    k = 0
    for title in names:
        print(title)
        print("@@@@@@@@@2")
        print(k)
        print(urls[k])
        url_jpg = urls[k]

        k = k + 1
        if k <=2:
            continue
        print("準備抓取：" + str(title))

        # windows不能創建帶？的目錄，添加判斷邏輯
        if (os.path.exists(path + title.strip().replace('?', ''))):
            # print('目錄已存在')
            flag = 1
        else:
            os.makedirs(path + title.strip().replace('?', ''))
            flag = 0
        # 切換到上一步創建的目錄
        os.chdir(path + title.strip().replace('?', ''))
        # 每個圖片對應的url
        print(url_jpg)
        three_html = requests.get(url_jpg, headers=Hostreferer)
        #獲取當前頁圖片的張數
        content = etree.HTML(three_html.text)
        page_num = content.xpath("//div[@class='pagenavi']/a/span/text()")
        print(page_num[-2])
        pic_max = page_num[-2]
        # for i in page_num:
        #     print(i)
        print("總共找到有" + pic_max + "張圖片")
        # 遍歷每張圖片的url
        for num in range(1, int(pic_max) + 1):
            #time.sleep(2)
            # 拼接每張圖片的url
            pic = url_jpg + '/' + str(num)
            print(pic)
            #發起請求
            try:
                html = requests.get(pic, headers=Hostreferer, timeout=15)
            except requests.exceptions.RequestException as e:
                print(e)
                continue

            content = etree.HTML(html.text)
            urls_jpg = content.xpath("//div[@class='main-image']/p/a/img/@src")

            time.sleep(2)
            print(urls_jpg[0])
            try:
                html = requests.get(urls_jpg[0], headers=Picreferer, timeout=15)
            except requests.exceptions.RequestException as e:
                print(e)
                continue
            file_name = urls_jpg[0][-9:]
            # 保存圖片
            with open(file_name, 'wb') as f:
                f.write(html.content)
                f.flush()
                f.close()
print('下載全部完成')

三、部分源碼分析

3.1 獲取網站html網頁數據源碼

# -*- coding: utf-8 -*-
# 作者: 廢人一枚
# 出自:  北京
# 創建時間: 22:42
import os, traceback
import requests
if __name__ == '__main__':
    # 獲取每一類的網址
    same_url = 'https://www.tupian.com/page/'  # 也可以指定其它的路徑下的圖片
    # http請求頭  User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36
    Hostreferer = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36',
        'Referer': 'http://www.tupian.com'
    }

    # 用get方法打開url併發送headers
    html = requests.get(same_url, headers=Hostreferer)

    # 打印結果 .text是打印出文本信息即源碼
    print(html.text)

其中 User-Agent 的獲取可以參考以下鏈接進行修改自己瀏覽器的信息
https://blog.csdn.net/xunxue1523/article/details/104579264

3.2 返回網頁源碼信息數據

3.3 提取網頁中自己需要的信息–有多少頁

xpath獲取
xpath路徑：//div[@class='nav-links']/a/text()

# -*- coding: utf-8 -*-
# 作者: 廢人一枚
# 出自:  北京
# 創建時間: 22:42
import os, traceback
import requests
from lxml import etree
if __name__ == '__main__':
    # 獲取每一類的網址
    same_url = 'http://www.tupian.com'  # 也可以指定其它的路徑下的圖片
    # http請求頭  User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36
    Hostreferer = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36',
        'Referer': 'http://www.tupian.com'
    }

    # 用get方法打開url併發送headers
    index_html = requests.get(same_url, headers=Hostreferer)

    # 打印結果 .text是打印出文本信息即源碼
    print(index_html.text)

    # 獲取最大頁數
    content = etree.HTML(index_html.text)
    page_num = content.xpath("//div[@class='nav-links']/a/text()")
    max_page = page_num[-2]
    print("圖片總共頁碼爲：" + max_page)

3.4 循環進入某一頁

提取一頁上面圖片的鏈接地址：//div[@class='postlist']/ul/li/a/@href
提取一頁上面圖片的鏈接地址：//div[@class='postlist']/ul/li/a/img/@alt
源碼：

# -*- coding: utf-8 -*-
# 作者: 廢人一枚
# 出自:  北京
# 創建時間: 22:42
import os, traceback
import requests
from lxml import etree
import time
if __name__ == '__main__':
    # 獲取每一類的網址
    all_url = 'http://www.tupian.com'
    same_url = 'http://www.tupian.com/page/'  # 也可以指定其它的路徑下的圖片
    # http請求頭  User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36
    Hostreferer = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.70 Safari/537.36',
        'Referer': 'http://www.tupian.com'
    }

    # 用get方法打開url併發送headers
    index_html = requests.get(all_url, headers=Hostreferer)

    # 打印結果 .text是打印出文本信息即源碼
    print(index_html.text)

    # 獲取最大頁數
    content = etree.HTML(index_html.text)
    page_num = content.xpath("//div[@class='nav-links']/a/text()")
    max_page = page_num[-2]
    print("圖片總共頁碼爲：" + max_page)
    for n in range(1, int(max_page) + 1):
        # 拼接當前url eg：https://www.mzitu.com/page/1
        ul = same_url + str(n)
        print(ul)
        time.sleep(1)
        # 分別對當前類每一頁第一層url發起請求，進入第n頁
        two_html = requests.get(ul, headers=Hostreferer)
        # print(two_html.text)
        content = etree.HTML(two_html.text)
        urls = content.xpath("//div[@class='postlist']/ul/li/a/@href")
        names = content.xpath("//div[@class='postlist']/ul/li/a/img/@alt")
        k = 0
        for title in names:
            print(title)
            print("@@@@@@@@@2")
            print(k)
            print(urls[k])
            url_jpg = urls[k]
            print("準備抓取：" + str(title))

    print('下載全部完成')

3.5 創建文件夾，循環進入每一個圖片的第二層頁面

創建目錄 os.makedirs
獲取頁面 requests.get
-源碼：

 # windows不能創建帶？的目錄，添加判斷邏輯
        if (os.path.exists(path + title.strip().replace('?', ''))):
            # print('目錄已存在')
            flag = 1
        else:
            os.makedirs(path + title.strip().replace('?', ''))
            flag = 0
        # 切換到上一步創建的目錄
        os.chdir(path + title.strip().replace('?', ''))
        # 每個圖片對應的url
        print(url_jpg)
        three_html = requests.get(url_jpg, headers=Hostreferer)

點進一個圖之後，發現他是每個頁面顯示一個圖片，這時我們需要知道總頁數，eg：http://www.tupian.com/216244是某個圖的第一頁，後面的頁數都是再後面跟/和數字http://www.tupian.com/216244/2 (第二頁)，那麼很簡單了，我們只需要找到他一共多少頁，然後用循環組成頁數就可以了。

xpath獲取第二頁面的圖片數：//div[@class='pagenavi']/a/span/text()
xpath獲取第二頁面所有圖片的每個圖片鏈接：//div[@class='main-image']/p/a/img/@src

保存圖片至文件

            with open(file_name, 'wb') as f:
                f.write(html.content)
                f.flush()
                f.close()

基本的代碼分析完了，這裏核心就是是xpath代碼分析，詳細xpath點擊進入學習

如果大家喜歡，麻煩給個關注，歡迎大家一起交流，謝謝。

Python3爬蟲學習-爬取圖片批量下載 XPATH

文章導航

一、環境

二、源碼

三、部分源碼分析

3.1 獲取網站html網頁數據源碼

3.2 返回網頁源碼信息數據

3.3 提取網頁中自己需要的信息–有多少頁

3.4 循環進入某一頁

3.5 創建文件夾，循環進入每一個圖片的第二層頁面

vue項目獲取富文本編輯器wangEditor內容導出爲word（html轉word格式並下載）

dotnet C# 創建 X11 應用時設置窗口背景顏色

Navicat安裝與激活教程

TDengine docker安裝方法

vue3組件通信與props

sapui5

Alpine Linux apk add DNS lookup error

部分JDK版本的發佈時間

工作中用到的腳本合集

合併代碼時Beyond Compare設置

【安卓錯誤】Error while executing: am start -n 解決方案

【工具】損壞視頻文件修復MP4/MOV格式

JSP導入工程常見的問題彙總

Python3 錯誤：PermissionError: [Errno 13] Permission denied 如何解決？「xsl，csv」成功解決

Python安裝插件/pycharm安裝插件的方法

https://yachay.unat.edu.pe/blog/index.php?comment_area=format_blog&comment_component=blog&comment_co

linux以太網驅動總結