Scrapy 代碼塊封裝

函數封裝:

問題點:

在scrapy的爬蟲中,request對象和item對象都必須在回調函數返回,當多個回調函數有共同的代碼塊時就不方便正常提取封裝

解決辦法:

遵循框架原則:回調函數返回生成器,並且攜帶的數據是request對象或者item對象。可以把共同代碼封裝起來,並用yield返回,這樣提取封裝的函數也是生成器,然後在回調函數調用的地方執行:for xx in 封裝的函數()

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章