Scrapy的爬蟲添加redis支持的時,會出現的坑:
- 在Scrapy中request對象在傳遞時,是引用傳遞,即在一處修改了request,那麼在其他地方也會改變;而換成redis後,這個會變爲值傳遞;原因?request對象是從redis數據庫中反序列化過來的;
- 關於禁用duplacte filter; 在scrapy的原始爬蟲中,設置一個變量即可;但在scrapy redis中,需要自己重新定義一個返回值爲false的類,否則會報錯,查看詳細的報錯原因可得;
這段時間使用python的感想
- python對於簡單的問題處理,確實很方便,但真正用起來後,會有不少知識需要學習,並不是一個python簡明教程可以搞定的;也許是知識不足,python還並不穩定,比如說,python解釋器直接崩潰?