之前我们使用 Scrapy 简单实验了一下该框架,利用该框架确实使整个过程简单了很多,能够使用户更加专注于整体的实现而不是细枝末节。但是也有一点不太方便,就是在调试代码的代码的时候,需要等待较长的时间才能够看到结果,这也会影响整个开发的效率。而 Scrapy Shell 则可以部分解决该问题。
Scrapy Shell
启动
- 打开终端
- 进入到 Scrapy 项目所在的目录,执行命令:
scrapy shell domainname
示例
这里以下面的为例,简单说明 Scrapy Shell 的操作:
scrapy shell https://www.douban.com/note/760973143/
In [1]: title = response.xpath("//div[@class='note-header note-header-container']/h1/text()").get()
In [2]: print(title)
看故园风物仍是旧时样
In [3]: author = response.xpath("//div[@class='note-header note-header-container']//a[@class='note-author']/text()").get
...: ()
In [4]: print(author)
双棹入江泛金风
In [5]: exit()
其实,这算是在 python 环境中进行操作,只是由于 Scrapy 的存在,会提前导入了某些包和构建了某些变量。当然也可以导入其它包,构建其它变量。