原创 網絡爬蟲-某水利建設市場平臺（滑塊驗證碼破解）
剛過完端午節！ 節後迴歸一波，發一波之前的庫存~ 直接進入主題 目標站 水利建設市場監管平臺 觸發驗證碼 --> 首頁 --> 從業人員 --> 隨便點個人名的鏈接,如圖 可以看到就是很普通的滑塊驗證碼，我們今天不用seleni
2020-07-01 17:43:12
11
原创 網絡爬蟲-抓取全國高校名單(分區域)
參考鏈接: 從人人網獲取全國中學信息（省市縣） 主要代碼爲參考+改進上面博客的原創，在人人網的select彈框form裏面抓取出全國高校名單. 主要代碼塊如下 def getProvinceData(): conten
2020-06-17 05:07:15
1
原创 網絡爬蟲-今日頭條_signature參數逆向(第一彈)
失蹤人口迴歸ing 今天要講的是今日頭條web版的_signature參數逆向 直接上鍊接 --> 今日頭條 首先隨便點開一個版本，這裏點的是娛樂，抓包看看結果。 可以很清晰地看到首頁html源碼裏面並沒有上圖中的關鍵字"古巨
2020-06-17 05:07:15
5
原创 網絡爬蟲-上傳爬蟲文件至阿里雲OSS(以視頻/圖片爲例)
OSS 的作用 這個OSS 存儲能夠幫助我們完成很多新的需求 , 如果你是土豪你可以把它當成一個網盤來使用,如果你是個後端開發者那麼恭喜你,你就相當於有了一臺靜態資源服務器 ! 你可以把圖片以及靜態頁面放到這裏 ! 通過OSS獲取
2020-05-31 10:38:59
原创 網絡爬蟲-今日頭條__ac_signature參數逆向(第二彈)
今天要講的是今日頭條web版的__ac_signature參數逆向 這次應該是最近剛更新的一個反爬，受朋友委託幫忙查看，跟上次的解決方式差不多，算法方面基本一致。先放上一篇文章的鏈接 網絡爬蟲-今日頭條_signature參數逆向
2020-05-12 19:08:36
12
原创 網絡爬蟲-拼多多anti_content參數逆向分析
失蹤人口迴歸深夜第二彈 拼夕夕的anti_content參數逆向分析(0ao開頭) 直接上鍊接 --> 拼多多 首先進行基操，隨便搜索個關鍵詞並抓包 可以發現第一次搜索的時候並沒有什麼加密，真正的anti_content參數
2020-03-18 09:27:48
5
原创 網絡爬蟲-今日頭條_signature參數逆向
失蹤人口迴歸ing 今天要講的是今日頭條web版的_signature參數逆向 直接上鍊接 --> 今日頭條 首先隨便點開一個版本，這裏點的是娛樂，抓包看看結果。 可以很清晰地看到首頁html源碼裏面並沒有上圖中的關鍵字"古巨
2020-03-18 09:27:48
12
原创 網絡爬蟲-計算型驗證碼破解
爬蟲中最常見的反爬手段之一就是驗證碼，而我們平常所遇見的驗證碼最多的便是數英驗證碼，數英驗證碼可以有效地收集數據集並進行訓練，達到靠譜的識別率，而另一個很常見的就是計算型驗證碼了，如下圖示： 這個驗證碼，咋一看，感覺上是十分簡單
2019-09-26 18:05:03
6
原创 網絡爬蟲-cloudflare五秒等待驗證逆向破解
Cloudflare是國外的一家安全防護公司，最近在很多網站上也看到了他的身影，比較明顯的特徵就是讓你等待5秒鐘以驗證你是否是真實的瀏覽器。 以 https://www.biovision.com/ 爲例 另一個明顯的特徵就是它
2019-09-26 18:05:03
338
原创 網絡爬蟲-愛給音效素材網js逆向思路
失蹤人口迴歸~~~ 今天的主角是：愛給音效素材網 不得不說這是一個表面人畜無害，實則暗藏玄機的網站，js加密說不上覆雜，但是能讓你抓狂~ 我們以其中一個子頁面爲例：頁面傳送門 接下來進行抓包分析 可以發現在進行下載操作的時候
2019-09-04 18:40:00
33
原创 網絡爬蟲-cnzz網站統計(umuuid參數加密破解)
總體來說算是比較easy的js加密 由於涉及到部分隱私 就簡單說下該參數的加密思路 以馬蜂窩爲例 該網站使用的是CNZZ統計流量 首先抓包看參數，如圖 可以比較清晰地看到 cnzz的統計是發起的這個get請求 然後看下這些參數
2019-07-09 19:35:51
31
原创 網絡爬蟲--記一次有趣的偵察型反爬手段(ebay)
起因： 偶然在羣裏看到一位小老弟的求助 說是某電商網站對手機號進行了反爬，我尋思之前也寫過58電話解密的 就助(mian)人(wei)爲(qi)樂(nan)地看一下吧 ebay網站地址 進去抓包一看 幾百個請求 唰唰唰的
2019-06-21 19:14:39
7
原创 網絡爬蟲-一鍵轉換爬蟲請求頭headers(Fillder/各大瀏覽器適用)
程序員都是懶惰的~ 這個是真理！ 於是有了這個一鍵轉換請求頭的神器，平時厭煩了打單雙引號，逗號的童鞋可以偷懶了，咱做爬蟲的，也挺不容易的~ 直接貼代碼 -->(原理很簡單,目前測試了fiddler和瀏覽器的請求頭) import js
2019-05-06 21:24:12
3
原创 網絡爬蟲-爬取有效機構查詢網(CNAS)全量數據
目標網站-->有效機構查詢網需求如下：咋一看不太難全是靜態html且數據也都是規則的這時候xpath工程師的作用就體現了!於是乎先開始抓接口查詢接口這裏出現了個驗證碼而且是會後端驗證的(有那種只是前
2019-04-26 22:27:39
原创 網絡爬蟲-58同城·招聘聯繫電話js解密
一個簡單的cryptojs加密的網站，58同城·招聘的隱藏電話號碼 如下圖示 注意，58招聘查看聯繫方式是需要登錄授權的，所以前面的步驟一一省略，僅分析抓包請求，如何通過requests拿到我們想要的電話號碼 接下來進行抓包分析，我
2019-03-27 18:39:24
64