原创 scrapy 抓取糗百存儲到Excel +MySQL數據庫+MongoDB數據庫
今天來學習一下用框架抓取糗事百科段子，安裝scrapy請參考前面文章，首先創建一個項目,打開終端scrapy startproject qiubai目錄下會生成一個qiubai的文件cd qiubai #進入裏面 scrapy gensp
2020-06-16 09:24:29
原创 scrapy 抓取內涵社區
學scrapy有一段時間了，今天就抓取一個段子來總結一下，安裝scrapy請參考上一篇。首先在dos命令下創建scrapyscrapy startproject myspider 進入項目裏面 創建dos命令下創建scrapy gensp
2020-02-22 00:34:34
原创 學習筆記--Python中subprocess模塊的使用
執行命令： [python] view plain copy >>> subprocess.call(["ls", "-l"]) 0 >>> subprocess.call("exit 1", shell=
2020-02-22 00:34:34
2
原创 利用python 發送郵件
#coding=utf-8 import traceback import smtplib from email.mime.text import MIMEText from email.mime.multipart import MI
2020-02-22 00:34:34
原创 scrapy 安裝
1.安裝Python 安裝完了記得配置環境，將python目錄和python目錄下的Scripts目錄添加到系統環境變量的Path裏。在cmd中輸入p
2020-02-22 00:34:34
原创 學習筆記——12306 手動登錄解析（1）
#-*-coding:utf-8 -*- import urllib2 import urllib # 驗證碼登錄同步 import cookielib import ssl #證書驗證 ssl._create_default_https
2020-02-22 00:34:34
原创 學習筆記——12306 檢測餘票（3）
#-*-coding:utf-8 -*- import urllib2 import urllib # 驗證碼登錄同步 import cookielib import damatuWeb import ssl from json im
2020-02-22 00:34:34
原创 筆記--scrapy 爬取IP 存儲到MySQL數據庫
本章將講述爬取IP地址，爲後期深入爬蟲做準備1.準備工作分析一下我們要抓取那些字段和網頁的結構，我們要抓取的是ip地址，端口，服務器地址，速度，存活時間等查看一下網頁的結構可以看到要抓取的內容主要在table裏面，按照次序抓取即可，最後是
2020-02-22 00:34:34
原创 學習筆記--後端彈窗消息
第一步：導入模塊 from django.contrib import messages #消息閃現，把當前請求返回的消息，展示到下一次請求中 例子 def permission_add_role_libs(request, name)
2020-02-22 00:34:34
原创 學習筆記——12306成功登錄（4）
本節代碼爲登錄成功並打印出賬戶名稱 #-*-coding:utf-8 -*- import urllib2 import urllib # 驗證碼登錄同步 import cookielib import damatuWeb import
2020-02-22 00:34:34
原创 學習筆記——12306 自動通過驗證碼（2）
在互聯網發展的歷程中，網站的驗證碼一直在不斷的迭代更新，從最初的直接用字符作爲驗證碼到後來的用字符生成圖片，再到後來在驗證碼圖片上加上各種各樣的干擾，再到最後面的位置驗證碼等等，而自動驗證從最初的獲取驗證碼字符到後面的識別驗證碼再到最後1
2020-02-22 00:34:34
原创 xpath選擇器
XPath 的全稱是 XML Path Language，即 XML 路徑語言，它是一種在結構化文檔（比如 XML 和 HTML 文檔）中定位信息的語言，XPath 使用路徑表達式來選取 XML 文檔中的節點或節點集。節點是通過沿着路徑
2020-02-22 00:34:34
原创 python scrapy 下載文件與圖片相關小知識
Scrapy爲我們提供了可重用的 item pipelines爲某個特定的Item去下載文件。 通常來說你會選擇使用Files Pipeline或Images Pipeline。這兩個管道都實現了：避免重複下載可以指定下載後保存的地方(文
2020-02-22 00:34:33
原创 scala入門-時間處理
import java.util.Date import java.text.SimpleDateFormat 1、獲取今天日期 def getNowDate():String={ var now:Date = new D
2018-12-29 15:19:17
原创 python supervisor】在服務器端，如何一直運行你的python代碼
方法1： nohup 命令 nohup python *.py & 方法2： 使用supervisor保持python進程運行 Supervisord是一個守護進程的工具，當進程意外終止或服務器掉電起來後，希望進程能夠自動運行，supe
2018-12-28 13:40:14