spiders文件夹的.py爬虫文件
| 方法或参数名 | 用法 |
|---|---|
| name | 每个项目唯一的名字，用来区分不同的 Spider |
| allowed_domains | 是允许爬取的域名，如果初始或后续的请求链接不是这个域名下的，则请求链接会被过滤掉 |
| start_urls | 包含了 Spider 在启动时爬取的 url 列表，初始请求是由它来定义的 |
| parse | Spider 的一个方法。默认情况下，被调用时 start_urls 里面的链接构成的请求完成下载执行后，返回的响应就会作为唯一的参数传递给这个函数。该方法负责解析返回的响应、提取数据或者进一步生成要处理的请求。 |
pipelines.py
| 方法或参数名 | 用法 |
|---|---|
| process_item() | 有两个参数。参数item：每次 Spider 生成的 Item 都会作为参数传递过来。参数 spider：就是 Spider 的实例。该方法必须返回包含数据的字典或 Item 对象，或者抛出 DropItem 异常。 |