原创 抖音app爬蟲逆向（X-Gorgon參數破解）
去年用python爬蟲抓取了很多抖音的小視頻，是通過fiddler抓包獲取接口實現的，但是隨着抖音反爬蟲手段的增強，原來的接口早已不能使用，雖然現在仍然能使用fiddler去獲取接口，但是你會發現接口連接和請求頭中有很多加密參
2020-07-08 05:33:07
8
原创 新版知乎反爬蟲js逆向過程
大約是在2020年3月底左右，知乎的反爬蟲開始升級，再也不能放個UA就肆無忌憚的爬取了，此次的爬蟲升級主要是在請求頭中增加了一些加密參數，如圖，其中必不可少的參數是x-zse-86，x-ab-param參數可以不要，x-zse-8
2020-06-21 10:16:12
7
原创 一些常見的問題及其解決辦法連接（親測可用）
Windows系統下基於Scrapyd部署爬蟲項目(本地部署) https://blog.csdn.net/baoshuowl/article/details/79656701 Ubuntu中Unable to acquire the
2020-06-19 07:44:45
原创 python中的requirements.txt
爲什麼python項目需要requirements.txt文件？ 因爲任何應用程序通常需要設置安裝所需並依賴一組類庫來滿足工作要求。requirements.txt文件就是指定和一次性安裝包的依賴項具體一整套方法。我們在獲取到一個pyt
2020-06-19 07:44:45
2
原创 計算機通用知識
1.查看自己電腦的公網ip: curl ifconfig.me 或者直接國內的http://ip138.com，國外的http://ifconfig.me
2020-06-19 07:44:45
原创 python有的內置函數就一個pass，功能怎麼實現的？
首先，使用python內置函數時是不是感覺速度特別快，這是因爲這些內置函數的具體實現不是用python編寫的，如果用的是cpython，那麼就是c編寫的（與你使用的python解釋器有關）。python的內置模塊中只用一個pass作爲佔位
2020-06-19 01:44:46
原创 vim配置與常用快捷鍵
1.vim配置 vim默認的配置看得人眼睛疼，這裏可以高亮的顯示你的腳本，這需要配置一下virmc文件的內容， vim ~/.vimrc 打開vimrc文件，將下面的複製進去保存退出即可，這樣你的vim就非常漂亮了 set nocomp
2020-06-19 01:44:46
原创 錯誤雜記
1.使用Git時 SSL certificate problem錯誤的解決方法 這裏其實是電腦沒有安裝對應的ca證書，所以無法通過https連接到git服務器。 這裏通過設置git的ssl驗證跳過了這個錯誤(win下): git con
2020-06-19 01:44:46
原创 git修改項目並提交到新分支
1.先把項目clone下來 git clone https://github.com/heranly/picturespider.git 2.然後對改項目進行修改更新， 我在該項目中增加了一個README，查看狀態：git status
2020-06-19 01:44:45
原创 git更新項目
在寫項目的時候，我通常在windows本地寫好之後更新到github上，如果項目有更新，我一般就在本地更新，然後在用git去更新github上的項目，這裏就會有一個問題，就會報一大堆錯誤，大意就是遠程master已經存在了，你再重新搞一個
2020-06-18 22:23:56
原创 .gitignore沒能生效的問題
問題出現的原因： 在初始化git倉庫的時候沒有創建，.gitignore文件來過濾不必要提交的文件, 後來卻發現某些文件不需要提交, 但是這些文件已經被提交了, 這時候創建.gitignore文件忽略這些文件時, 發現ignore的規
2020-06-18 22:23:56
原创 python中json.dumps將中文變成unicode字符的解決辦法
想要將字典內容寫入文件中，發現用json.dumps時發現保存到文件中時中文部分變成unicode字符，如圖 解決方法： 1.將data格式化成字符串 2.在json.dumps中加ensure_ascii，設置ensure_asci
2020-06-18 22:23:54
原创 kafka消費者參數設置調優
kafka Consumer參數設置 1.session.timeout.ms <= coordinator檢測失敗的時間 默認值是10s 該參數是 Consumer Group 主動檢測 (組內成員comsummer)崩潰的時間間隔。若
2020-06-18 22:23:54
原创 解決airflow 的問題Error: No module named 'airflow'
打開ubuntu啓動airflow時發現報錯 Error: No module named 'airflow.www' 網上查了一下，說是沒有進入airflow路徑，於是cd 進入airflow目錄，結果報錯Error: No modul
2020-06-18 22:23:54