[python][scrapy]沒有上一頁下一頁只有頁碼的簡單操作

寫在前面:
在簡單的學習完爬蟲入門後,自己做簡單的採集時,發現目標網址下只有頁碼,沒有上一頁下一頁,也一度放棄過,換了採集網址,後來又在書本上看到了解決方法,只是目前能用

下面時解決的代碼截圖
在這裏插入圖片描述

代碼部分如下

def __init__(self):
        self.page_index = 1

# 提取下一頁並提交給scrapy進行下載
        self.page_index += 1

        # 拼接下一頁鏈接
        next_link = 'https://***.com/comic/?page=' + str(self.page_index)
        if self.page_index < 3306:
            yield Request(url=next_link, callback=self.parse)

後面想到好的方法再來更新吧

-更新於2020年3月15日14點34分

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章