Python網絡爬蟲(二十)——Scrapy Shell

之前我們使用 Scrapy 簡單實驗了一下該框架，利用該框架確實使整個過程簡單了很多，能夠使用戶更加專注於整體的實現而不是細枝末節。但是也有一點不太方便，就是在調試代碼的代碼的時候，需要等待較長的時間才能夠看到結果，這也會影響整個開發的效率。而 Scrapy Shell 則可以部分解決該問題。

Scrapy Shell

啓動

• 打開終端
• 進入到 Scrapy 項目所在的目錄，執行命令：

scrapy shell domainname

示例

這裏以下面的爲例，簡單說明 Scrapy Shell 的操作：

scrapy shell https://www.douban.com/note/760973143/

In [1]: title = response.xpath("//div[@class='note-header note-header-container']/h1/text()").get()

In [2]: print(title)
看故園風物仍是舊時樣

In [3]: author = response.xpath("//div[@class='note-header note-header-container']//a[@class='note-author']/text()").get
   ...: ()

In [4]: print(author)
雙棹入江泛金風

In [5]: exit()

其實，這算是在 python 環境中進行操作，只是由於 Scrapy 的存在，會提前導入了某些包和構建了某些變量。當然也可以導入其它包，構建其它變量。