Python開源網絡爬蟲或網絡蜘蛛scrapy入門遇到問題

踏過千山萬水，峯迴路轉，終於裝上了scrapy爬蟲構架。接着參照網上寫一個demo。

中文demo：http://www.cnblogs.com/txw1958/archive/2012/07/16/scrapy-tutorial.html

英文原創demo：http://doc.scrapy.org/en/0.16/intro/tutorial.html

由於疏忽，在spider目錄下的蜘蛛程序中，有那麼一段代碼：

filename = response.url.split("/")[-2]

敲入時少了後面的 [-2]，於是

filename = response.url.split("/")

然後運行，問題就來了

一下子被嚇倒了，貌似問題出現在Twisted模塊，是不是裝Twisted版本不對導致的。Google一下，找到有類似的問題，按網上做，還是沒解決。此時已經嚴重懷疑是Twisted版本問題導致的，不過這時還不想重裝Twisted，畢竟太麻煩了。於是到英文scrapy.org網站找scrapy demo例子。照搬下來，居然可以正常運行了！！！此時證明不是Twisted版本問題，發現自己代碼少了[-2]的緣故。分析一下，可能是open（）這個函數是繼承Twisted的open（），從而錯誤提示指向Twisted模塊。這種錯誤提示沒什麼價值，反而有很大的誤導性。

所以啊，有時候程序的錯誤提示並不是問題的真正所在。