原创 【mysql】權限管理
開啓遠程訪問權限 grant all privileges on *.* to root@"%" identified by "Zkst@019" ; flush privileges ;
2019-07-06 11:45:58
原创 【爬蟲】scrapy安裝問題與解決辦法
Microsoft Visual C++ 14.0 is required 問題： 在pip install scrapy時出現錯誤： Microsoft Visual C++ 14.0 is required. 解決辦法
2019-07-05 15:08:19
1
原创 【爬蟲】scrapy加入多種防爬策略
隨機UA 1、安裝scrapy-fake-useragent模塊 pip install scrapy-fake-useragent 2、修改scrapy項目的settings.py文件 DOWNLOADER_MIDDLEWAR
2019-07-03 11:10:53
原创 【python】引用固定路徑的模塊
general_settings 在當前程序的上級目錄中 sys.path.append('../') from general_settings import * sys.path.append中的參數可以是相對路徑也可以是絕
2019-07-03 11:10:53
原创 【mysql】pymysql.err.InterfaceError Interface Error: (0, '')
八成是丟失連接了 while 1: try: self.conn.ping(reconnect=True) self.cur.execute(sql,tuple(item.values()
2019-07-02 15:10:17
原创 【爬蟲】Selenium + xvfb + chrome 實現無頭抓取
問題背景 使用 Selenium 時有如下兩種情況： （1）無界面的linux環境下 （2）想用Selenium做自動化測試或爬蟲，但又不想打開瀏覽器，以免拖慢速度 所以我們需要一種不用打開瀏覽器的使用 Selenium 的方法，
2019-06-26 16:25:55
384
原创 【python】ubuntu16.04安裝anaconda3
環境 wget https://repo.anaconda.com/archive/Anaconda3-2019.03-Linux-x86_64.sh bash Anaconda3-2019.03-Linux-x86_64.
2019-06-26 14:56:29
原创 【mysql】ubuntu18.04安裝mysql8.0（dpkg方式）
環境 ubuntu18.04 mysql8.0 步驟 0、清除已有的mysql a. sudo apt-get autoremove --purge mysql-server-5.0 b. sudo apt-get remove
2019-06-25 12:14:26
原创 【sublime】sublime3配置python3
環境 sublime3 Miniconda3 步驟 1、sublime3 -> Tools -> Build System -> New Build System 2、在彈出的文本頁面中粘貼如下代碼： { "cmd": [
2019-06-23 15:03:29
原创 【tools】解決sublime3無法安裝package control的問題
問題 由於被牆的原因，sublime3在tools->Install Package Control會報錯： an error occurred installing package control 從網上收集了如下幾種解決辦
2019-06-23 15:03:29
1
原创 【linux】ubuntu中selenium截網頁中文變方框
問題： 最近在ubuntu中通過selenium+pyvirtualdisplay實現不打開瀏覽器網頁截圖時，發現截到的中文頁面會變爲方框，這是因爲在該ubuntu系統中缺少支持的中文字體，這種情況下即使帶界面的ubuntu系統也
2019-06-22 15:11:33
6
原创 【python】pymysql動態sql技巧
背景 在python利用pymysql執行sql語句時，由於沒用的orm模型，只能手寫sql，這麼做有亮點不方便： 1、參數個數變化時，sql語句就要有很大的調整，很不方便。 2、在爬蟲中，我們插入的往往是一個對象，把對象解析出
2019-06-10 16:02:12
原创 【python】json模塊解析帶單引號的json字符串
如果遇到一個json字符串，裏頭的key或value是單引號包圍，直接用json.loads就會報錯，如下： import json json_str = "{'name':'like','age',27'}" json.loa
2019-06-10 16:02:12
1