原创 pyppeteer應用2
1、常用小功能 【初始化】 async def init_pyppeteer(self): self.browser = await pyppeteer.launch({'headless': False,
2020-06-20 00:28:00
1
原创 Python進階篇:9 內置模塊uuid/base64/hashlib/hmac/md5
1、uuid模塊 uuid:是128爲全局唯一標識符，通常由32字節的字母串表示，它可以保證時間和空間的唯一性，也稱爲GUID 原理：通過mac地址、時間戳、命令空間、隨機數、僞隨機數來保證生產的ID的唯一性 【作用】 隨機生
2020-06-20 00:27:59
1
原创 基礎篇(6) splash應用
selenium是瀏覽器測試自動化工具，很容易完成鼠標點擊，翻頁等動作，確定是一次只能加載一個頁面，無法異步渲染頁面，也就限制了selenium爬蟲的抓取效率。 splash可以實現異步渲染頁面，可以同時渲染幾個頁面。缺
2020-06-19 23:12:48
1
原创 基礎篇之requests及編碼
1、requests模塊 import requests from fake_useragent import UserAgent headers={"Referer":"http://www.angelimg.com"} url =
2020-06-19 23:12:48
原创 python下sys/os/subprocess/configparser模塊用法
1、os常用命令 import os # 操作系統類型,只有兩個nt和posix；nt表示windows內核系統，posix表示linux/unix內核系統 print(os.name) #獲取詳細的系統信息；只能在linux系統下使
2020-06-19 23:12:48
3
原创 Python進階篇:8 內置模塊time/datetime/calendar/arrow日期時間
1、time模塊 import time '''時間的表示形式： 1、時間戳： 以整型或者浮點型表示的是一個以秒爲單位的時間間隔，這個時間的基礎值是1970年1月1日0時開始計算 2、元組形式 一種python的數據
2020-06-19 23:12:48
原创 文件編碼檢測chardet及亂碼處理
def save_data(line): with open("new微博評論.csv","a+",newline="",encoding="utf-8") as f: f.write(line) f = ope
2020-06-19 23:12:37
原创 python入門篇6：文本/CSV/Excel/word文件操作
2、CSV文件操作 2.1、從csv中讀取文件 import csv def read_csv_index(): """通過下標的方式""" with open('stock.csv', 'r') as f:
2020-06-08 05:43:07
15
原创 Python進階篇:3Numpy基礎篇
NumPy的全英文是Numerical Python，是高性能科學計算和數據分析的基礎包，提供多維數組對象。ndarray多維數組或叫矩陣，具有矢量運算能力，快速節省空間；矩陣運算，無需循環，可完成類似Matlab中的矢量運算；線
2020-06-08 05:43:07
原创 scrapy篇(2)scrapy中的spider部分
1、spider中的屬性和方法 在Scrapy框架中的spider創建類時，強制了三個屬性和一個方法。 1.1、spider屬性 name = "" ：這個爬蟲的識別名稱，必須是唯一的，在不同的爬蟲必須定義不同的名字。 allow_d
2020-06-08 05:43:07
1
原创 python入門篇5：數據庫操作mysql/redis/mongodb/sqlite
1、mysql數據庫操作 在python3中使用mysql數據庫需要安裝PyMysql模塊。 pip3 install PyMysql 【python訪問mysql數據庫的流程】 1.1、py與mysql交互的相關概念 【Connec
2020-06-08 05:43:07
原创 pandas操作excel的應用
1、pandas基本讀取和寫入excel表格 1.1、pandas讀取excel表格 import pandas as pd # 創建空DataFrame實例，DataFrame就是數據幀 df = pd.DataFrame({'id'
2020-06-08 05:43:07
原创 日誌logging模塊
默認情況下Python的logging模塊將日誌打印到了標準輸出中，且只顯示了大於等於WARNING級別的日誌，這說明默認的日誌級別設置爲WARNING（日誌級別等級CRITICAL > ERROR > WARNING > I
2019-10-25 17:14:16
原创 python運行系統命令
import subprocess as sp ''' subprocess模塊中stdin，stdout，stderr的分別表示標準輸入，標準輸出，錯誤句柄 Popen()方法的shell參數用於標識是否使用shell作爲要執行的程序
2019-10-25 17:14:16
原创 python中的協程(1)
1、協程概念 協程：稱爲微線程，是一種用戶態的輕量級線程。 發展歷程： （1）最初的生成器變形yied/send; （2）引入@asyncio.coroutine 和 yield from （3）在python3.5版本中引入了asyn
2019-08-22 23:59:28