Python快速開發分佈式搜索引擎Scrapy精講—爬蟲數據保存

注意：數據保存的操作都是在pipelines.py文件裏操作的

將數據保存爲json文件

spider是一個信號檢測

# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
from scrapy.pipelines.images import ImagesPipeline  #導入圖片下載器模塊
import codecs
import json

class AdcPipeline(object):                      #定義數據處理類，必須繼承object
    def __init__(self):
        self.file = codecs.open('shuju.json', 'w', encoding='utf-8')  #初始化時打開json文件
    def process_item(self, item, spider):       #process_item(item)爲數據處理函數，接收一個item，item裏就是爬蟲最後yield item 來的數據對象
        # print('文章標題是：' + item['title'][0])
        # print('文章縮略圖url是：' + item['img'][0])
        # print('文章縮略圖保存路徑是：' + item['img_tplj'])  #接收圖片下載器填充的，圖片下載後的路徑

        #將數據保存爲json文件
        lines = json.dumps(dict(item), ensure_ascii=False) + '\n'   #將數據對象轉換成json格式
        self.file.write(lines)          #將json格式數據寫入文件
        return item
def spider_closed(self,spider):     #創建一個方法繼承spider，spider是一個信號，當前數據操作完成後觸發這個方法
        self.file.close()               #關閉打開文件

class imgPipeline(ImagesPipeline):                      #自定義一個圖片下載內，繼承crapy內置的ImagesPipeline圖片下載器類
    def item_completed(self, results, item, info):      #使用ImagesPipeline類裏的item_completed()方法獲取到圖片下載後的保存路徑
        for ok, value in results:
            img_lj = value['path']     #接收圖片保存路徑
            # print(ok)
            item['img_tplj'] = img_lj  #將圖片保存路徑填充到items.py裏的字段裏
        return item                    #將item給items.py 文件的容器函數

    #注意：自定義圖片下載器設置好後，需要在

如果你依然在編程的世界裏迷茫，可以加入我們的Python學習扣qun：784758214，看看前輩們是如何學習的。交流經驗。從基礎的python腳本到web開發、爬蟲、django、數據挖掘等，零基礎到項目實戰的資料都有整理。送給每一位python的小夥伴！分享一些學習的方法和需要注意的小細節，點擊加入我們的 python學習者聚集地

將數據保存到數據庫

我們使用一個ORM框架sqlalchemy模塊，保存數據

數據庫操作文件

#!/usr/bin/env python
# -*- coding:utf-8 -*-

from sqlalchemy.ext.declarative import declarative_base
from sqlalchemy import Column
from sqlalchemy import Integer, String, TIMESTAMP
from sqlalchemy import ForeignKey, UniqueConstraint, Index
from sqlalchemy.orm import sessionmaker, relationship
from sqlalchemy import create_engine

#配置數據庫引擎信息
ENGINE = create_engine("mysql+pymysql://root:[email protected]:3306/cshi?charset=utf8", max_overflow=10, echo=True)

Base = declarative_base()       #創建一個SQLORM基類

class SendMsg(Base):            #設計表
    __tablename__ = 'sendmsg'

    id = Column(Integer, primary_key=True, autoincrement=True)
    title = Column(String(300))
    img_tplj = Column(String(300))

def init_db():
    Base.metadata.create_all(ENGINE)        #向數據庫創建指定表

def drop_db():
    Base.metadata.drop_all(ENGINE)          #向數據庫刪除指定表

def session():
    cls = sessionmaker(bind=ENGINE)         #創建sessionmaker類,操作表
    return cls()

# drop_db()         #刪除表
# init_db()         #創建表

pipelines.py文件

在學習過程中有什麼不懂得可以加我的
python學習交流扣扣qun，784758214
羣裏有不錯的學習視頻教程、開發工具與電子書籍。
與你分享python企業當下人才需求及怎麼從零基礎學習好python，和學習什麼內容
# -*- coding: utf-8 -*-

# Define your item pipelines here
#
# Don't forget to add your pipeline to the ITEM_PIPELINES setting
# See: http://doc.scrapy.org/en/latest/topics/item-pipeline.html
from scrapy.pipelines.images import ImagesPipeline  #導入圖片下載器模塊
from adc import shujuku as ORM                      #導入數據庫文件

class AdcPipeline(object):                      #定義數據處理類，必須繼承object
    def __init__(self):
        ORM.init_db()                           #創建數據庫表
    def process_item(self, item, spider):       #process_item(item)爲數據處理函數，接收一個item，item裏就是爬蟲最後yield item 來的數據對象
        print('文章標題是：' + item['title'][0])
        print('文章縮略圖url是：' + item['img'][0])
        print('文章縮略圖保存路徑是：' + item['img_tplj'])  #接收圖片下載器填充的，圖片下載後的路徑

        mysq = ORM.session()
        shuju = ORM.SendMsg(title=item['title'][0], img_tplj=item['img_tplj'])
        mysq.add(shuju)
        mysq.commit()
        return item

class imgPipeline(ImagesPipeline):                      #自定義一個圖片下載內，繼承crapy內置的ImagesPipeline圖片下載器類
    def item_completed(self, results, item, info):      #使用ImagesPipeline類裏的item_completed()方法獲取到圖片下載後的保存路徑
        for ok, value in results:
            img_lj = value['path']     #接收圖片保存路徑
            # print(ok)
            item['img_tplj'] = img_lj  #將圖片保存路徑填充到items.py裏的字段裏
        return item                    #將item給items.py 文件的容器函數

    #注意：自定義圖片下載器設置好後，需要在