原创 爬蟲篇（8）瀏覽器請求一鍵轉換成python代碼——Curl轉換

前言：很多時候我們想要寫一個測試請求時，都要一行一行代碼寫，很不方便，前些天看到一篇Curl轉換的代碼的介紹，直呼沒有早點看到，在無意義的代碼上浪費了不少時間（其實最近剛好寫了一個Fiddler一鍵轉Python的代碼，打算抽空寫一個瀏覽

2019-08-03 13:10:48 4

原创 Python通過微信遠程控制電腦 - python itchat

itchat是一個開源的微信個人號接口，使用python調用微信從未如此簡單。 使用不到三十行的代碼，你就可以完成一個能夠處理所有信息的微信機器人。 當然，該api的使用遠不止一個機器人，更多的功能等着你來發現，比如這些。 該接口與公衆號

2019-08-01 13:12:17

原创 爬蟲篇（7）一鍵轉換爬蟲請求頭headers、Cookies (Fillder/各大瀏覽器適用)

參考：https://blog.csdn.net/qq_39802740/article/details/89884756 前言：前些天看到一篇關於一鍵轉換爬蟲請求頭headers的博客，不過感覺代碼冗餘度有些高，經過優化並添加了一些東西

2019-07-30 13:10:50

原创 Python中的 e-val ( ) 、ex ec() 及其相關函數(compile()、lobals()與locals() )

1. eval函數 函數的作用： 計算指定表達式的值。也就是說它要執行的Python代碼只能是單個運算表達式（注意eval不支持任意形式的賦值操作），而不能是複雜的代碼邏輯，這一點和lambda表達式比較相似。 函數定義： eval(ex

2019-07-28 13:13:14

原创 爬蟲篇（6）爬蟲解析工具：xpath、bs4、jsonPATH

一、xpath的使用 1、XML簡介 XML 指可擴展標記語言（EXtensible Markup Language） XML 是一種標記語言，很類似 HTML XML 的設計宗旨是傳輸數據，而非顯示數據 XML 和 HTML

2019-07-28 13:13:13 3

原创 Python 之 異步進程回調函數(callback())

摘要： 在公司項目開發過程中遇到multiprocessing，打算進一步瞭解一下multiprocessing的多線程、多進程和協程方便後續的開發，無意中看到異步進程回調函數(callback())，正好運用在項目中的某個之前想要優化的

2019-07-28 13:13:12

原创 Django篇（4）模板

模板 作爲Web框架，Django提供了模板，用於編寫html代碼，還可以嵌入模板代碼更快更方便的完成頁面開發，再通過在視圖中渲染模板，將生成最終的html字符串返回給客戶端瀏覽器。模版致力於表達外觀，而不是程序邏輯。模板的設計實

2019-07-11 13:11:48

原创 Django篇（5）高級

高級 到此爲止，關於Django框架的三大塊M、V、T已經全部講完了，接下來學習一些其它的知識點，這些知識點不在三大塊範圍內，Django提供了這些功能後，可以幫助我們更快更好的完成開發。 主要知識點如下： 靜態文件處理 中間件

2019-07-11 13:11:48 2

原创 python 一次Cookie池接口開發實戰（附代碼）

目錄 第一天修改 第二天修改 第三天修改 第四天修改 前言： 今天是入職第一天，被項目組長分配工作：寫一個Cookie池接口 Cookie池要求： 1、要有一個保存cookie的接口，保存文檔不限制，存入mysql，txt文本，redi

2019-07-11 13:11:47

原创 Django篇（3）視圖

視圖 1. 視圖的功能 接收請求，進行處理，與M和T進行交互，返回應答。 返回html內容 HttpResponse，也可能重定向 redirect,還可以返回json數據。 1.1創建案列項目 1、創建項目：django-adm

2019-07-02 13:13:46

原创 Django篇（2）模型

模型 1. Django ORM O(objects):類和對象。 R(Relation):關係，關係數據庫中的表格。 M(Mapping):映射。 Django ORM框架的功能： a) 建立模型類和表之間的對應關係，允許我們

2019-06-28 13:12:06

原创 Django篇（1）Django入門

Django入門 1. 軟件框架 一個公司是由公司中的各部部門來組成的，每一個部門擁有特定的職能，部門與部門之間通過相互的配合來完成讓公司運轉起來。 一個軟件框架是由其中各個軟件模塊組成的，每一個模塊都有特定的功能，模塊與模塊之

2019-06-28 13:12:06

原创 Python中pymysql通過字典插入數據

引子： 今天面試，被大佬要求寫一段實操代碼，首先他在寫字板上開頭： def insert(table,data): #這裏你知道table和data，其中data是一個字典，寫插入數據庫的代碼 想了一下，想到的一些方法被否定了，

2019-06-25 13:16:34

原创 scrapy通用爬蟲以及setting設置中一些提升效率的方式

通用爬蟲(Broad Crawls) Scrapy默認對特定爬取進行優化。這些站點一般被一個單獨的Scrapy spider進行處理， 不過這並不是必須或要求的(例如，也有通用的爬蟲能處理任何給定的站點)。 除了這種爬取完某個站點或沒有更

2019-06-24 13:10:50

原创 使用scrapy-jsonrpc簡單教程

首先安裝scrapy-jsonrpc： pip install scrapy-jsonrpc 打開你的爬蟲項目中setting.py文件，加入如下代碼進行配置： EXTENSIONS = { 'scrapy_jsonrpc.w

2019-06-24 13:10:49 25