原创 Linux centos下安裝mysql數據庫

廢話不說,直接上流程 1、先下載並安裝官方的 yum repository (可以新建一個mysql文件夾)     wget -i -c http://dev.mysql.com/get/mysql57-community-releas

原创 控制流程之 if。。。else。。 while 和do。。while乾貨

條件語句         if條件語句是編程常用必不可少的條件語句,其基本結構如下: int a= 1; int b = 3;      if (a>b){     System.out.println("---"); }else {  

原创 爬蟲使用selenium時 Chrome對應webdriver版本

在使用selenium爬取數據時,要安裝Chrome對應的webdriver,有時會找不到對應關係,所以在這記錄一下 Chrome版本和webdriver對應關係網址如下  http://chromedriver.storage.goog

原创 'Connection broken: IncompleteRead(1482 bytes read, 2614 more expected)', IncompleteRead(1482 bytes

          爬蟲運行時報:'Connection broken: IncompleteRead(1482 bytes read, 2614 more expected)', IncompleteRead(1482 bytes re

原创 js逆向之企名片加密參數encrypt_data的破解

版權聲明:本文爲博主原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接和本聲明。 本文鏈接:https://blog.csdn.net/qq_38534107/article/details/90673483 打開

原创 加速樂的歡樂破解與__jsl_clearance的生成

最近在寫gsxt的爬蟲, 在當初分析請求的時候,老是遇到返回521,基礎的反爬都用上了,還是沒用, 最後找到了咱們親愛的“度娘”和谷歌,才知道他們升級了最新的加速樂的最新爬蟲防護機制。   防護機制分析: 像gsxt發送請求,初次返回52

原创 爬蟲數據清洗之html標籤的清洗

    我們平常爬取數據時,會經常有多餘的html便籤,下面我們就來清洗一下這些標籤: 1,只清洗標籤,可以用正則,也可以用remove(),remove_tags()函數 正則清洗: import re html='<p class="

原创 Charles的安裝和註冊碼破解

1, 安裝Charles,直接去官網下載安裝 傳送門 2,安裝後準備註冊碼註冊破解,點擊Help——> 點擊下拉框的第一條 registerd to 然後輸入下面的註冊碼即可 Registered Name: https://zhile.

原创 安裝scrapy時twisted報錯

在安裝scrapy時,經常碰到twisted安裝失敗的報錯,百度了很多,都沒解決,最後找到了 是需要自己手動安裝 Twisted-19.2.0-cp36-cp36m-win_amd64.whl文件 文件下載地址:https://www.l

原创 mysql 報錯ERROR 1820 (HY000): You must reset your password using ALTER USER statement before executin

我是剛安裝好mysql,登陸進去準備查看一下數據庫,就報這種錯誤,無論輸入什麼命令都是這種錯誤 百度了一下,解決方法有以下幾個: 一、重置用戶密碼: mysql> alter user 'root'@'localhost' identi

原创 安裝mysql服務初始化時,出現“找不到msvcp140.dll”錯誤

今天剛上班,準備重裝一下mysql,誰知裝到一般的時候突然跳出來“找不到msvcp140.dll”這個錯誤,百度了很多答案,也試了好多,都不怎麼可行,最後終於讓我找到了真相!! 真相就是沒有安裝VC++2015版運行庫導致的(Micros

原创 python爬蟲面試題

1,python 常用數據結構有哪些?請簡要介紹一下。 答:列表,元組,字典,集合等     列表:有序集合,可隨時改變元素    元組:有序集合,一旦初始化,不可變    字典:無序集合,以key-value形式存儲,key可爲元組,字

原创 scrapy中禁止請求重定向

在settings裏面設置一下REDIRECT_ENALBED = False

原创 在使用pycharm時代碼無法自動提示解決

問題:今天在使用pycharm時遇到了代碼無法提示的問題   解決方案:         1. 在打開pycharm時必須要等待indexing完全加載結束;         2.找到file菜單欄中的“Power Save Mode”選

原创 爬蟲爬取數據時各種中文亂碼問題

學爬蟲有一段時間了,期間總是覺得內容編碼會傻傻分不清楚,尤其是直接網頁拿數據的時候,遇見中文有時候特別麻煩,看大神介紹的東西太多,只記下了處理方式,僅供參考,不對地方歡迎大家指正~~ 一般請求返回內容編碼方式步驟如下: 1、查看數據源網頁