Scrapy爬蟲筆記——2

1、對數據進行篩選和提取的兩種方法：

（1）正則表達式

（2）XPath表達式：

它是一種XML路徑語言，用“/”符號選擇某個標籤，可以進行多層次標籤的查找；

獲取該標籤中的文本信息，通過text() 實現；

使用“//”可以提取某個標籤的所有信息，如：通過“//p”提取網頁中的所有<p>標籤；

獲取所有屬性X的值爲Y的<Z>標籤的內容，通過“//Z[@X="Y"]”。

2、Spider的類參數傳遞

可以通過重寫__init__()方法，在構造方法中設置一個變量用於接收用戶在運行爬蟲時傳遞過來的參數（傳遞一個爬蟲網址）。

（1）單個網址參數

#steve.py
# -*- coding: utf-8 -*-
import scrapy

from firstpjt.items import FirstpjtItem


class SteveSpider(scrapy.Spider):
    name = 'steve'
    #allowed_domains = ['www.sina.com']
    start_urls = (
        'http://news.sina.com.cn/c/2018-08-12/doc-ihhqtawx1023013.shtml',
        'http://sports.sina.com.cn/basketball/nba/2018-08-12/doc-ihhqtawx1782775.shtml',
        'http://news.sina.com.cn/w/2018-08-12/doc-ihhqtawx0403181.shtml'
    )

    # 重寫初始化方法__init__()，設置參數myurl用來傳遞爬蟲網址
    def __init__(self, myurl=None, *args,**kwargs):
        super(SteveSpider,self).__init__(*args,**kwargs)
        print("要爬取的網址：%s"%myurl)
        #重新定義start_urls屬性
        self.start_urls=["%s"%myurl]


    def parse(self, response):
        item = FirstpjtItem()
        item["urlname"] = response.xpath("/html/head/title/text()")
        print(item["urlname"])

運行結果：通過-a選項傳遞參數

（2）多個網址參數

更改__init__()方法的代碼爲：

# 重寫初始化方法__init__()，設置參數myurl用來傳遞爬蟲網址
    def __init__(self, myurl=None, *args,**kwargs):
        super(SteveSpider,self).__init__(*args,**kwargs)
        # 通過split()將傳遞進來的參數切分，生成一個列表
        myurllist=myurl.split('|')
        for i in myurllist:
            print("爬取網址爲：%s"%i)
        self.start_urls=myurllist

運行結果：