Scrapy用pipelines把字典(item)保存爲csv格式

import csv

class MyProjectPipeline(object):
    # 保存爲csv格式
    def __init__(self):
        # 打開文件,指定方式爲寫,利用第3個參數把csv寫數據時產生的空行消除
        self.f = open("myproject.csv","a",newline="")
        # 設置文件第一行的字段名,注意要跟spider傳過來的字典key名稱相同
        self.fieldnames = ["goods_sketch","goods_img","good_price","goods_shop","b_href","title"]
        # 指定文件的寫入方式爲csv字典寫入,參數1爲指定具體文件,參數2爲指定字段名
        self.writer = csv.DictWriter(self.f, fieldnames=self.fieldnames)
        # 寫入第一行字段名,因爲只要寫入一次,所以文件放在__init__裏面
        self.writer.writeheader()

    def process_item(self, item, spider):
        # 寫入spider傳過來的具體數值
        self.writer.writerow(item)
        # 寫入完返回
        return item

    def close(self,spider):
        self.f.close()
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章