寫在前面:
在簡單的學習完爬蟲入門後,自己做簡單的採集時,發現目標網址下只有頁碼,沒有上一頁下一頁,也一度放棄過,換了採集網址,後來又在書本上看到了解決方法,只是目前能用
下面時解決的代碼截圖
代碼部分如下
def __init__(self):
self.page_index = 1
# 提取下一頁並提交給scrapy進行下載
self.page_index += 1
# 拼接下一頁鏈接
next_link = 'https://***.com/comic/?page=' + str(self.page_index)
if self.page_index < 3306:
yield Request(url=next_link, callback=self.parse)
後面想到好的方法再來更新吧
-更新於2020年3月15日14點34分