Jmeter圖片爬蟲

今天教大家用元件組合,做一個網頁圖片爬蟲。

需要用到的元件:循環控制器+計數器+xpath提前器+函數嵌套+beanshell代碼

首先我們確定一下要爬取的圖片網站:https://dp.pconline.com.cn/list/all_t5.html

通過F12觀察一下他的html代碼,發現這些圖片都是通過href鏈接跳轉之後,訪問的src圖片

那麼我們可以考慮先對網站發起請求,通過xpath表達式提取到圖片的src,也就是圖片的訪問鏈接

然後再通過xpath提取出這些圖片的標題

因爲考慮到每一組圖片和標題都是一一對應的,因此這裏提取出來的匹配數字也可以認爲是一一對應。

在dubug中我們可以看到,url和標題都提取了50個,且一一對應。

 

下面我們添加一個循環控制器,循環次數就是debug中的matchNr

在循環控制器中添加一個計數器,用來計算需要執行爬取的次數

 

添加一個http請求,在循環控制器下,循環對debug中獲取到的url發起請求,同時遍歷寫入圖片標題

每一次發起請求之後,都把請求獲取的圖片通過代碼寫入本地,同時遍歷寫入圖片名稱

執行腳本觀察響應結果,觀察本地文件寫入結果

 

 

友情提示:這一套爬蟲腳本,摒棄了以往通過foreach控制器遍歷進行爬蟲的方法。轉而通過函數嵌套的方式,同步遍歷多個參數進行文件寫入。難點就在於函數嵌套遍歷的理解和xpath元素定位,希望大家好好研究,有問題可以和我進行探討!

image.png

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章