Scrapy、ScrapyRedis使用

Scrapy的爬蟲添加redis支持的時,會出現的坑:

  1. 在Scrapy中request對象在傳遞時,是引用傳遞,即在一處修改了request,那麼在其他地方也會改變;而換成redis後,這個會變爲值傳遞;原因?request對象是從redis數據庫中反序列化過來的;
  2. 關於禁用duplacte filter; 在scrapy的原始爬蟲中,設置一個變量即可;但在scrapy redis中,需要自己重新定義一個返回值爲false的類,否則會報錯,查看詳細的報錯原因可得;

這段時間使用python的感想

  • python對於簡單的問題處理,確實很方便,但真正用起來後,會有不少知識需要學習,並不是一個python簡明教程可以搞定的;也許是知識不足,python還並不穩定,比如說,python解釋器直接崩潰?
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章