原创 python爬蟲基礎-urllib, urllib2
最簡單的爬蟲 import urllib import urllib.request # 爬蟲時候，url最後加上反斜槓 url = 'http://www.baidu.com/' response = urllib.reques
2020-06-12 21:38:19
原创 Django項目需求分析和詳細設計
##1 需求分析 ###1.1 需求分析組成部分 需求分析的內容是針對待開發軟件提供完整、清晰、具體的要求，確定軟件必須實現哪些任務。具體分爲功能性需求、非功能性需求與設計約束三個方面. (1)．功能性需求
2020-06-12 21:38:09
3
原创 Jenkins中上游項目並行後再觸發下游項目，並傳遞參數
在使用jenkins執行自動化腳本，因爲用例過多，所以決定並行job執行來提高效率，當然這個在之前的一篇文件介紹就可以做到，先配置一個job_A，然後用job_B觸發兩個下游job來實現並行。一開始我也是這樣設計的，後面出現了問題
2020-06-12 21:38:09
101
原创 Python關於requests庫的整理
r=requests.get(url,params=None,**kwargs) 使用get函數會內部生成一個Request對象，以及一個Response對象（也就是 r ）； Response對象®包含了Request對象發送的
2020-06-12 21:38:09
原创 django查詢中extra的應用
今天有個需求需要查詢到數據庫resc_metadata字段(是一個json類型的值)中job_group去重後的值放入一個列表 一、通過pymysql完成 def set_cluster_id_value(data, hirer,
2020-06-12 21:38:09
1
原创 django rest framework使用django-filter實現過濾和搜索
首先創建一個models.py from django.db import models LANGUAGE_CHOICES = ( ('0' , 'python'), ('1' , 'java') ) STYLE
2020-06-12 21:38:09
3
原创 python 使用hmac模塊做密鑰驗證
hmac模塊（僅在python3中可以使用） 簡介： HMAC是密鑰相關的哈希運算消息認證碼，HMAC運算利用哈希算法，以一個密鑰和一個消息爲輸入，生成一個消息摘要作爲輸出。 典型應用： HMAC的一個典型應用是用在“質疑/
2020-05-26 15:52:20
原创 FastAPI框架學習筆記
目錄結構 主目錄下 database.py (創建數據庫連接) from sqlalchemy import create_engine from sqlalchemy.ext.declarative import declar
2020-04-29 11:41:03
34
原创 fastapi草稿
from fastapi import FastAPI, Query, Path, Body, Cookie, Header, Form, File, UploadFile, HTTPException from pydantic
2020-04-29 11:41:03
原创 windows10安裝mysql-workbench報錯VS C++ 2015依賴沒有安裝
workbench下載地址： https://dev.mysql.com/downloads/workbench/ 點擊下載之後的安裝包，開始安裝之後，提示如下錯誤 MySQL Workbench requires the Vi
2020-04-14 11:20:37
原创 python使用第三方庫gevent模擬高併發請求
因爲工作中有個測試場景需要在1s內發送100個請求，需要併發，本來想用多線程或協程實現的，但最後發現gevent這個第三方庫，真的很好用。 gevent簡介: gevent在python後臺開發中是必不可少的工具庫，它的強大在於它
2020-04-14 11:20:37
原创 Jenkins中各job並行後再觸發job
在使用jenkins執行自動化腳本，因爲用例過多，所以決定並行job執行來提高效率，當然這個在之前的一篇文件介紹就可以做到，先配置一個job_A，然後用job_B觸發兩個下游job來實現並行。一開始我也是這樣設計的，後面出現了問題
2019-10-25 22:40:41
原创 python進程池
當需要創建的子進程數量不多時，可以直接利用multiprocessing中的Process動態成生多個進程，但如果是上百甚至上千個目標，手動的去創建進程的工作量巨大，此時就可以用到multiprocessing模塊提供的Pool方
2019-08-28 22:39:12
原创 python multiprocessing遇到Can’t pickle instancemethod問題
遇到一個坑，Can’t pickle instancemethod … 前言: 今天寫了一個小腳本，因爲涉及到cpu運算的事件，所以用了多進程. 因爲大量複用了以前的類，就遇到了奇怪的問題。 我這裏就不暴露我的業務代碼，臨時寫了
2019-08-28 22:38:51
原创 用MYSQLworkbench導出數據excel
步驟： 1、先從數據庫中將表導出，右鍵需要導出的表格——>Table Data Export Wizard 勾選要導出的字段 2、點擊Next，選擇你需要把數據存放的文件路徑、導出的數據格式（表格的話就默認選擇CSV）、導出數
2019-08-28 22:38:50