原创 保存文件信息到本地 並用json形式 在pipelines.py中操作用代碼實現
1. import codecs import os import json class HongxiuPipeline(object): def __init__(self): self.file = co
2018-08-30 00:09:43
原创 續html
1.自動編號 <!DOCTYPE html> <html lang="en"> <head> <meta charset="UTF-8"> <meta name="viewport" content="width=dev
2018-08-30 00:09:32
原创 selenium驅動程序下載和使用流程
1.百度搜索 gecko driver 進入第一個網頁找到下載地址 粘貼下載地址並打開此網頁 並找到 點擊下載。會出現 將其拉至桌面 2.百度搜索chromeDriver Mirror 進入下載地址 點擊2.41/ 進入
2018-08-30 00:09:28
原创 node js基礎 以用戶註冊登錄爲例
1.安裝包下載 地址：32 位安裝包下載地址 : https://nodejs.org/dist/v4.4.3/node-v4.4.3-x86.msi 64 位安裝包下載地址 : https://nodejs.org
2018-08-30 00:09:17
原创 Python Redis 安裝
1. 下載地址：https://github.com/MSOpenTech/redis/releases。 Redis 支持 32 位和 64 位。這個需要根據你係統平臺的實際情況選擇，這裏我們下載 Redis-x64-xxx.zip壓縮
2018-08-30 00:09:17
原创 網頁製作有關基礎知識（html）
1.初識 background-color 背景顏色 width 寬度 hright 高度 設置模型：height : 100px ; 用英文中的冒號和分號 border 邊緣 邊框 組合屬性時 border ： 1px dott
2018-08-30 00:09:17
原创 Python ——報錯集錦
錯誤（1）：SyntaxError:'return' outside function錯誤代碼： while True : count += 1 if count == 20 : return錯誤分析
2018-08-30 00:09:16
原创 獲取標籤全部文本的方式
1.獲取最外層標籤，遍歷內部所有的子標籤，獲取標籤文本 選擇貼吧小說吧中的一個爲例 鏈接爲 https://tieba.baidu.com/p/5815118868?pn=1 #找到指定類名的div標籤 該標籤內爲貼吧內容和作者
2018-08-30 00:09:16
原创 使用scrapy框架進行爬蟲需要注意的
1.start_urls 內的網址要補充完整 2.在獲取數據時，如果我們想要先獲取先獲取某一整塊內容，然後再從此內容中獲取單個零碎信息 比如 def parse(self, response): ul_list
2018-08-30 00:09:15
原创 scrapy 安裝 及應用
Scrapy的安裝（三種方式） 第一種： （1）在命令終端直接輸入 conda install scrapy （2）進程中會出現判斷 是否繼續 ，輸入Y 或者按下Enter鍵 即可 第二種： （1）升級pip版本：pip install
2018-08-30 00:09:15
原创 線程，線程鎖，線程隊列---------之（線程）
線程 --進程與線程的區別 進程：每個程序都會有一個進程，負責管理程序各個功能的執行，進程有且只有一個 線程：每個進程裏至少有一個線程，稱爲主線程，除此以外還會有其他線程，稱爲分線程。線程是控制任務執行的最小單位 -------進程負責
2018-08-30 00:09:15
原创 Python 用scrapy來發送郵件
1.在emailsender.py 文件中 # 目的 # 封裝郵件發送的邏輯 不管哪一個項目或者文件需要發送 # 只需要引入這個文件 並且實現其方法 就能發送郵件 import smtplib import email from em
2018-08-30 00:09:15
原创 scrapy裏面 中間件 middlewares.py的使用
1. from scrapy import signals from selenium import webdriver from scrapy.http.response.html import HtmlResponse from s
2018-08-30 00:09:15