原创 如何找出 post 請求的 url 以及相應的請求參數

我們要模擬用戶登錄,就必須要發送 post 請求。這時就需要知道請求的 url 以及請求參數。 通過表單獲取 使用 chrome 的選擇工具,選擇表單的輸入框,看 Elements 中的定位的位置,向上找 form 標籤中 act

原创 Python爬蟲代理

代理IP的分類 根據代理ip的匿名程度,代理IP可以分爲下面四類: 透明代理(Transparent Proxy):透明代理雖然可以直接“隱藏”你的IP地址,但是還是可以查到你是誰。 匿名代理(Anonymous Proxy):使

原创 金融知識: 北上資金以及南下資金

外國資金投資 A 股的途徑 第一個: 外國資金可以申請獲取QFII(合格的外國機構投資者)投資額度,有QFII資格與額度後就可以投資中國資本市場。 首先,有一個總的 QFII 額度; 每個QFII機構需要申請,審批 QFII 資

原创 清理 docker 佔用從磁盤空間的常用命令

使用 docker 的好處 所有服務,包括數據庫都運行在Docker裏面,好處: 所有服務器的配置都非常簡單,只安裝了Docker,這樣新增服務器的時候要簡單很多。 可以非常方便地在服務器之間移動各種服務,下載Docker鏡像就

原创 Python 時間相關

總結帖,後續補充加入 … 獲取當天的最大最小時間

原创 Session、Cookies以及Token

Session SessionSession,中文稱之爲會話,其本身的含義是指有始有終的一系列動作/消息。比如,打電話時,從拿起電話撥號到掛斷電話這中間的一系列過程可以稱爲一個Session。而在Web中,Session對象用來存

原创 Python 多線程基礎

官方參考文檔 https://docs.python.org/zh-cn/3.7/library/threading.html#module-threading Thread 直接創建子線程 import threading im

原创 python schedule 對 corn 的支持

schedule 按照官方文檔大致可以知有以下的定時規則: 每十分鐘運行一次 schedule.every(10).minutes.do(job) 每小時運行一次 schedule.every().hour.do(job) 每

原创 mac 查看當前文件的路徑

一般在 win 機上,右鍵可查看文件路徑。 同事在微信上發了一個文件給我,左右不知道怎麼查看文件路徑。 查了下, 有兩種方式: 一是 右鍵 --> 顯示簡介 詳細信息裏面就有位置。 第二種方式,直接拖入終端,就會顯示出文件的路徑

原创 python 多進程基礎

python 的多線程是不能很好發揮多核的優勢的。 這時就要使用多進程。 多進程的含義 進程(Process)是具有一定獨立功能的程序關於某個數據集合上的一次運行活動,是系統進行資源分配和調度的一個獨立單位。 顧名思義,多進程就是

原创 關於 python 的繁簡體轉換

原文: https://www.jianshu.com/p/64fecfad1157 # 安裝 # pip install opencc-python-reimplemented # t2s - 繁體轉簡體(Traditiona

原创 url 編解碼在Python的實現

原文 https://blog.csdn.net/wf592523813/article/details/79141463 URL 需編碼&解碼原因 通常如果一樣東西需要編碼,說明其並不適合直接傳輸。原因多種多樣,如 size 過

原创 python requests 庫中的 SSL 證書驗證

現在很多網站都要求使用 HTTPS 協議,但是有些網站可能並沒有設置好 HTTPS 證書,或者網站的 HTTPS 證書不被 CA 機構認可,這時候,這些網站可能就會出現 SSL 證書錯誤的提示。 比如這個示例網站:https://

原创 Python 爬取單個知乎問答

問題起源 在知乎上看到一個問題: 求推薦好看的二次元頭像的。 一個個去翻回答感覺有點麻煩。 想把這個問題下全部的圖像抓取到文件夾中慢慢選。 分析 1 找到接口 2 json 中有個字段叫 content,是每個回答的 html

原创 關於康熙部首導致的字典查詢異常

這篇文章的起因是一個報錯,我們來看看: a = {"⽐賽階段": "16強"} print(a["比賽階段"]) 運行結果: 爲什麼查詢不出來呢?難道兩個比賽階段不一樣?我們進一步測試一下: print("⽐賽階段" == "