原创 PermissionError: [WinError 5] 拒絕訪問。解決辦法

PermissionError: [WinError 5] 拒絕訪問問題描述解決辦法一、找到programdata下anaconda3的python二、進入Users的權限，將除了特殊權限外，全部掛上√。三、在返回到anacond

2020-06-06 13:33:22

原创 分析scrapy爬蟲抓取instagram請求過快導致網站429的解決辦法

scrapy爬蟲抓取instagram請求過快導致網站429問題描述問題分析嘗試修改解決辦法 問題描述 在HTTP協議中，響應狀態碼 429 Too Many Requests 表示在一定的時間內用戶發送了太多的請求，即超出

2020-06-06 13:33:22 29

原创 最全的實際開發git使用講解——版本控制——代碼管理

前言 在實際開發項目中，對於代碼的控制用得最多的就是git。 git用的好，對於項目而言，是一件非常讓人愉悅的事兒。 不僅僅是在代碼的保存上，更是在開發上使業務邏輯和開發流程更加清晰和便於管理的不二選擇。 對人團隊合作開發，

2020-05-15 13:07:43

原创 最新抖音下載無水印視頻

短視頻搬運 在這個自媒體的時代，通過短視頻賺錢已經成爲一種常態，抖音也是當下最火熱的短視頻分享平臺，在大家都致力於原創視頻的時候，也有一部分人找到了另一種賺錢的套路——短視頻搬運！ 短視頻賺錢只要有播放量就能實現穩定收益。 操作

2020-05-05 00:45:00 2

原创 pymysql.err.InternalError: (1366, "Incorrect string value: '\\xF0\\x9F\\x8E\\xB5\\xE9\\x9F...'

錯誤事件： 在使用mysql數據庫插入數據時，再遇到表情符號的時候，會報錯。 原因是因爲我在navicat建立數據庫的時候使用的utf8字符集 所以表結構在創建的時候也會默認爲utf8字符集。 所以需要特殊的表情符號時，無法存

2020-04-29 14:04:47

原创 Wind系統安裝GOLAND並設置使用GO環境

最近開始學習go語言，萬事開頭難，第二步就是安裝GOLAND環境。 接下來將講解在使用go中遇到的各色各樣的問題 安裝GOLAND 我的Go資源包 鏈接: https://pan.baidu.com/s/126Pfu8LtQm

2020-04-27 07:52:41

原创 GOLAND創建go項目完成流程

最近開始學習go語言，萬事開頭難，第三步創建項目，安裝第三方庫。 接下來將講解在使用go中遇到的各色各樣的問題 創建項目 1、以此點擊File>New>Project 2、設置項目路徑點擊Create 3、進入項目後以此點

2020-04-27 07:52:41

原创 wind系統使用GO MOD 管理GO項目額第三方庫使用詳解（導入Colly）

最近開始學習go語言，萬事開頭難，第四步下載使用第三方庫。 接下來將講解在使用go中遇到的各色各樣的問題 通過查閱資料，得知go語言從1.11版本開始，開始有了GO111MODULE變量。 也出現了go mod的使用，至此go

2020-04-27 07:52:41

原创 wind系統下GO環境配置GOROOT、GOPATH、GOPROXY設置

最近開始學習go語言，萬事開頭難，第一步就是安裝環境。 接下來將講解在使用go中遇到的各色各樣的問題 安裝環境 1、在https://studygolang.com/dlGO語言中文網下載對於系統資源 我的go資源：鏈接: h

2020-04-27 07:52:41

原创 今天接到一個詐騙電話！！！原來有這麼多的受害者

今天下午的時候，接到了一個陌生的電話，地址是河南駐馬店。 在我接通了之後，電話那頭直接就報出了我的大學學校名，同時想和我覈對身份信息，當時我就覺得不對勁。 電話內頭說話吐詞不清，再重複溝通了一會兒後，我才得知，他是要給我註銷在

2020-04-21 22:15:20

原创 不止是CSS偏移反爬蟲

CSS偏移反爬蟲 CSS偏移反爬蟲指的是利用CSS樣式將亂序的文字排本爲人類正常閱讀順序的行爲。這個概念不是很好理解，我們可以通過對比兩端文字來加深對這個概念的理解。 HTML文本中的文字：我的學號是 1308205，我在北京大

2020-04-14 02:46:38 2

原创 不止是圖片僞裝反爬蟲

文本混淆反爬蟲 文本混淆可以有效地避免爬蟲獲取Web應用中重要的文字數據，使用文本混淆限制爬蟲獲取文本數據的方法稱爲文本混淆反爬。反爬蟲的前提是不能影響用戶正常瀏覽網頁和閱讀文字內容，直接混淆文本很容易被看出來，所以開發者通常是利

2020-04-14 02:46:38

原创 WebDriver被識別反爬蟲解決辦法(Chrome正受到自動化測試軟件的控制)

我們將爬蟲的爬取過程分爲網絡請求，文本獲取和數據提取3個部分。信息校驗型反爬蟲主要出現在網絡請求階段，這個階段的反爬蟲理念以預防爲主要目的，儘可能拒絕爬蟲程序的請求。動態渲染和文本混淆則出現在文本獲取及數據提取階段，這個夾斷的反爬

2020-04-14 02:46:38 1

原创 動態渲染的通用解決辦法

我們發現動態渲染的技術組合很靈活，如果每次遇到這種網站都需要猜解接口參數，跟進和分析Javascript代碼邏輯，那麼消耗的事件成本就很高了。當目標網站發生產品迭代升級或針對爬蟲有意改動代碼，爬蟲工程師就需要做對應的調整。可能目標

2020-04-14 02:46:38 10

原创 隱藏鏈接反爬蟲

隱藏鏈接反爬蟲定義 隱藏連接反爬蟲指的是在網頁中隱藏用於檢測爬蟲程序得鏈接手段。被隱藏得鏈接不會顯示在頁面中，正常用戶無法訪問，但是爬蟲程序有可能將該鏈接放入待爬隊列，並向該鏈接發起請求。開發者可以利用這個特點區分正常用戶和爬蟲程

2020-04-14 02:46:38 3