scrapy框架的入門使用

1.scrapy項目實現流程

1. 創建一個scrapy項目: scrapy startproject mySpider
2. 生成一個爬蟲:scrapy genspider itcast "itcast.cn
3. 提取數據:完善spider，使用xpath等方法
4. 保存數據:pipeline中保存數據

2.創建scrapy項目

爬取的地址：http://www.itcast.cn/channel/teacher.shtml

1. 安裝scrapy命令：sudo apt-get install scrapy
2. 或者：pip install scrapy
3. 創建scrapy項目的命令：scrapy startproject myspider

生成的目錄和文件結果如下：

3.創建爬蟲

命令：在項目路徑下執行:scrapy genspider +<爬蟲名字> + <允許爬取的域名>

示例：

cd myspider
scrapy genspider itcast itcast.cn

生成的目錄和文件結果如下：

4.完善spider

完善spider即通過方法進行數據的提取等操作

在/myspider/myspider/spiders/itcast.py中修改內容如下:import scrapy

import scrapy

# 自定義spider類，繼承scrapy.spider
class ItcastSpider(scrapy.Spider):  
    # 爬蟲名字 
    name = 'itcast' 
    # 允許爬取的範圍，防止爬蟲爬到別的網站
    allowed_domains = ['itcast.cn'] 
    # 開始爬取的url地址
    start_urls = ['http://www.itcast.cn/channel/teacher.shtml']

    # 數據提取的方法，接受下載中間件傳過來的response
    def parse(self, response): 
        # scrapy的response對象可以直接進行xpath
        names = response.xpath('//div[@class="tea_con"]//li/div/h3/text()') 
        print(names)

        # 獲取具體數據文本的方式如下
        # 分組
        li_list = response.xpath('//div[@class="tea_con"]//li') 
        for li in li_list:
            # 創建一個數據字典
            item = {}
            # 利用scrapy封裝好的xpath選擇器定位元素，並通過extract()或extract_first()來獲取結果
            item['name'] = li.xpath('.//h3/text()').extract_first() # 老師的名字
            item['level'] = li.xpath('.//h4/text()').extract_first() # 老師的級別
            item['text'] = li.xpath('.//p/text()').extract_first() # 老師的介紹
            print(item)

注意：

1. response.xpath方法的返回結果是一個類似list的類型，其中包含的是selector對象，操作和列表一樣，但是有一些額外的方法
2. extract() 返回一個包含有字符串的列表
3. extract_first() 返回列表中的第一個字符串，列表爲空沒有返回None
4. spider中的parse方法必須有
5. 需要抓取的url地址必須屬於allowed_domains,但是start_urls中的url地址沒有這個限制
6. 啓動爬蟲的時候注意啓動的位置，是在項目路徑下啓動

5.利用管道pipeline來處理(保存)數據

5.1 對itcast爬蟲進行修改完善
在爬蟲文件itcast.py中parse()函數中最後添加

yield item

yield的作用：

1. 讓整個函數變成一個生成器，遍歷這個函數的返回值的時候，挨個把數據讀到內存，不會造成內存的瞬間佔用過高
2. python3中的range和python2中的xrange同理

注意：yield能夠傳遞的對象只能是：BaseItem,Request,dict,None

5.2 修改pipelines.py文件

import json

class ItcastPipeline(object):
    # 爬蟲文件中提取數據的方法每yield一次item，就會運行一次
    # 該方法爲固定名稱函數
    def process_item(self, item, spider):
        print(item)

5.3 在settings.py設置開啓pipeline

ITEM_PIPELINES = {
    'myspider.pipelines.ItcastPipeline': 400
}

6.運行scrapy

命令：在項目目錄下執行scrapy crawl +<爬蟲名字>
示例：scrapy crawl itcast

總結

1. srapy的安裝：pip install scrapy
2. 創建scrapy的項目: scrapy startproject myspider
3. 創建scrapy爬蟲：在項目目錄下執行 scrapy genspider itcast itcast.cn
4. 運行scrapy爬蟲：在項目目錄下執行 scrapy crawl itcast
5. 解析並獲取scrapy爬蟲中的數據：
   response.xpath方法的返回結果是一個類似list的類型，其中包含的是selector對象，操作和列表一樣，但是有一些額外的方法
   extract() 返回一個包含有字符串的列表
   extract_first() 返回列表中的第一個字符串，列表爲空沒有返回None
6. scrapy管道的基本使用:
   完善pipelines.py中的process_item函數
   在settings.py中設置開啓pipeline