fiddler工具的坑

原創 晚风拂柳颜 2020-02-24 04:18

用这个玩意儿抓包，他会自动把系统代理设置为127.0.0.1:8888

导致后面访问网站时候各种报错进不了，用python requests请求的时候最明显了

 

后面解决办法 :

win10 设置-代理-手动设置代理，把那个开关关掉就行了

 

發表評論
所有評論
還沒有人評論，想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章

Python爬虫之selenium爬取英雄联盟官网英雄皮肤图片下载到本地和保存到数据库

從英雄聯盟皮膚網站的網頁源代碼中獲取不到英雄的皮膚地址 通過selenium可以輕鬆獲取想要的內容 源碼展示 from selenium import webdriver from time import sleep from

xyl180808 2020-07-08 00:23:55

python爬虫：番号挖掘机！可下载直接运行。

最近一直在學習python，想寫一些練習。看別人都是爬壁紙什麼的，感覺那些也沒啥意思，所有我就去爬番號了。 如果不想自己複製代碼可以自行下載 點我下載，提取碼：9nas 爬蟲目錄 __pycache__:這個文件夾python

你就叫我李大帅 2020-07-07 21:45:58

使用Beautifulsoup解析网页遇到的问题

今天遇到一個網頁，按往常的老辦法 soup = BeautifulSoup(content, 'lxml') 打印soup發現少了很多數據，剛開始還以爲反爬，後來經過驗證不是。、 那麼就是解析問題，我換成了 soup = Bea

李孟笛 2020-07-07 18:21:30

python如何下载MP4视频和获取时长

我們做爬蟲工作時，經常會遇到要把爬取的視頻下載到本地做存儲，那麼我們如何使用python去下載視頻呢，下載視頻不是本文章的重點，在此廢話不多說，直接上完整的代碼： def download_file(url, base_path, fi

公众号菜鸟童靴 2020-07-07 11:53:23

execjs执行js代码报错:Exception in thread Thread-1

最近在爬一個js數據加密的網站的時候,出了點問題,困擾了我兩天 直接運行js文件的時候正常,但是用execjs運行js代碼的時候總是會報錯    最後翻了很多博客之後,終於找到了原因:原因是有一個程序在使用TextIOWrapper 類

公众号菜鸟童靴 2020-07-07 11:53:23

python爬虫初学的小记录

self.headers = {“User-Agent”: “Mozilla/5.0”} 對headers的解釋： User Agent中文名爲用戶代理，是Http協議中的一部分，屬於頭域的組成部分，User Agent也簡稱UA

weixin_42929804 2020-07-07 03:33:36

五、分布式爬虫学习之BeautSoup4

BeautifulSoup4庫 和lxml一樣，BeautifulSoup也是一個HTML/XML的解析器，主要功能也是如何解析和提取HTML/XML數據。 區別：lxml只會局部遍歷，而BeautifulSoup是基於HTML

Mr_Little_li 2020-07-06 17:47:01

十三、学习分布式爬虫之字体反爬

字體反爬 字體反爬原理 網頁開發者自己創造一種字體，因爲在字體中每個文字都有其代號，那麼以後在網頁中不會直接顯示這個文字的最終的效果，而是顯示他的代號，因此即使獲取到了網頁中的文本內容，也只是獲取到文字的代號，而不是文字本身。

Mr_Little_li 2020-07-06 17:47:01

八、学习分布式爬虫之多线程

多線程爬蟲 理解多線程 掌握threading模塊的使用 掌握生產者消費者模式 理解GIL 能用多線程寫爬蟲 什麼是多線程 理解：默認情況下，一個程序只有一個進程和一個線程，代碼是依次線性執行的，而多線程則可以併發執行，一次性多

Mr_Little_li 2020-07-06 17:47:01

十四、学习分布式爬虫之Scrapy

Scrapy框架 學習目標 理解scrapy框架。 學會spider爬蟲的編寫。 學會Crawlspider爬蟲編寫。 學會中間件的編寫。 學會pipeline保存數據。 學會將Scrapy結合selenium一起使用。 學會在

Mr_Little_li 2020-07-06 17:47:01

二、学习分布式爬虫之urllib库

urllib庫（python自帶） urllib庫是python中一個基本的網絡請求庫，可以模擬瀏覽器行爲，向指定的服務器發送請求，並可以保存服務器返回的數據。 python3的urllib庫中所有和網絡請求相關的方法，都被集到u

Mr_Little_li 2020-07-06 17:47:01

一、学习分布式python网络爬虫第一天

1~3天學習目錄 爬蟲基礎 urllib庫基本使用 requests庫基本使用 爬蟲基礎知識 1.什麼是爬蟲 爬蟲是一個模擬人類請求網站行爲的程序，可以自動請求網頁，並把數據爬取下來，然後用一定的規則提取有價值的數據。 2.爬

Mr_Little_li 2020-07-06 17:47:01

六、学习分布式爬虫之正则表达式

正則表達式和re模塊 什麼是正則表達式： 通俗的理解，就是按照一定的規則，從某個字符串中匹配出想要的數據。這個規則就是正則表達式。 正則表達式語法 import re # 匹配某個字符串 # text = 'abc' # ret

Mr_Little_li 2020-07-06 17:47:01

Python爬取博客园数据---环境准备

1、安裝環境Python爬取需要的環境 直接使用Anaconda3的集成環境，然後安裝scrapy包。 打開遊覽器，搜索Anaconda3 點擊Anaconda3的官網進入下載 下載完之後安裝Anaconda3，一直next即可。

小白的Python梦 2020-07-06 10:03:45

Python爬虫实例（二）爬取数据后并入excel

報錯：Module Not Found Error: No module named 'openpyxl' 則下載openpyxl模塊，pip install openpyxl 源碼： import requests from lxm

穆鸽子的迷弟 2020-07-06 09:24:15