在網上看了很多參考，介紹的很多都是廢話，很多答案都是一樣的。
我最近是在用selenium工具來爬取貓眼的電影數據，因爲貓眼有文字加密和美團驗證，一般的爬取可能容易被檢測。所以我使用selenium工具來模擬人使用瀏覽器的過程，同時爬取數據。但是這樣還是沒貓眼檢測出來使用了selenium工具，所以我再使用mitmproxy代理，來攔截修改response。
下載安裝mitmproxy（使用清華的源安裝更快點）
sudo pip3 install mitmproxy -i https://pypi.tuna.tsinghua.edu.cn/simple
安裝好之後，還需要配置代理服務器，讓電腦的流量都經過這個代理服務器。因爲我是ubuntu18.04系統，與windows配置不同。安裝好之後可以打開終端輸入 mitmdump --version ,檢查是否安裝成功。如下圖
配置步驟
1，打開終端，輸入如下命令，顯示如下圖。此時這個代理服務器運行，並監聽默認的8080端口。當然你也可以修改端口。此時打開瀏覽器流量走的仍不是這個代理服務器，還需要去電腦設置裏去設置一下。
mitmdump
mitmdump -p PORT(端口號)
2，打開“設置”--->選擇“網絡”--->點擊“網絡代理”--->選擇“手動”。如下圖，因爲這個代理服務器默認端口是8080，所以我下面設置的和默認一直，當然你也可以修改端口。
3，此時配置已經完成，但打開瀏覽器會發現出現不信任服務器的警告。對於Firefox瀏覽器，可以直接地址欄輸入http://mitm.it
，選取other選項，安裝信任證書。類似於下圖（此圖我選擇蘋果手機的，你應該點擊other）。
4，對於chrome瀏覽器，稍複雜一步。我使用Firefox的方法未成功。故用手動的方法。我們第一步運行了mitmdump命令，會在文件夾的更目錄生成一個 .mitmproxy的文件夾，裏面有五個文件，如下圖。
打開chrome瀏覽器，點擊“設置”-->點擊“高級”-->點擊“隱私設置和安全性”-->選擇“管理證書”-->選擇“授權中心”-->“導入”，然後選擇上圖所示的 .pem格式的文件。
此時Firefox和chrome瀏覽器都安裝好了信任證書，網絡流量也都經代理服務器，可進行下一步工作了。
