原创 mysql 8.0 使用navicate失敗 Client does not support authentication protocol requested by server
來自 ： https://blog.csdn.net/u013700358/article/details/80306560 使用workbench 連接沒出錯，使用navicate就報錯，解決方案
2020-07-06 12:23:23
原创 mysql 聯合唯一索引和null
舉個例子 表a中，b，c爲聯合索引，但是下表這種狀態是存在的，而且還可以繼續插入1,null 這種數據 index,b,c 1,1,null 2,1,null
2020-06-26 14:51:40
1
原创 Redirecting (meta refresh) scarapy 重定向
https://www.buyelec.net 寫京北數據爬取的時候遇到的問題，由於反爬，使用了https://center.abuyun.com/#/cloud/http-proxy/tunnel/lists 阿布雲的代理， 然後爬不
2020-06-26 14:51:40
6
原创 二手房房價預測（置信度）
import os os.chdir(r"E:\BaiduNetdiskDownload\6inference") import pandas as pd house_price_gr = pd.read_csv(r'house_pric
2020-06-09 12:42:19
原创 xpath 解析後和原網頁結構不一致
一下爲網頁內容， 具體url爲http://travel.qunar.com/travelbook/list/23-shanxi-296903/hot_heat/2.htm 解析出錯的地方是 <a href="/youji/663050
2020-06-09 12:42:19
原创 json str 相互轉化
str 轉json 時，會把“ 轉' ，False 轉false True 轉 true ，所以 json轉str時，把相應的轉回來就好了
2020-05-15 23:54:41
原创 xpath 少見常用 兄弟節點 父子節點
<div> <a id="1" href="www.baidu.com">我是第1個a標籤</a> <p>我是p標籤</p> <a id="2" href="www.baidu.co
2020-05-14 00:02:41
原创 pd.read_json 匪夷所思的替換
先上問題 j_index='{"0":{"a":1,"b":2},"1s":{"a":1,"b":2}}' j_index3="{'0':{'a':1,'b':2},'1':{'a':1,'b':2}}" 意思差不多就是j_inde
2020-05-14 00:02:41
原创 超簡單app爬蟲
爬取（食品招商網）app www.spzs.com 裏面的代理信息，web上無法顯示，只能下載app 爬取流程： 1.電腦和手機連接同一個wifi，設置fiddler端口8888，設置手機wifi爲手動連接，ip地址同電腦，端口同fid
2020-05-05 06:42:46
原创 pyinstaller 報錯 AttributeError: 'str' object has no attribute 'decode'
之前用pyinstaller時都沒碰上這個問題，今天不知道什麼原因就突然報這個錯 即使我拿之前生成過的py文件，也時同樣報錯 解決方法： 上圖已經寫的很清楚了，D:\anaconda\Lib\site-packages\PyInst
2020-02-22 11:56:03
1
原创 fiddler抓包firefox
原文鏈接：https://blog.csdn.net/jimmyandrushking/article/details/80819103 在學app抓取數據，又看到fiddler，發現無法抓包F
2019-08-13 23:10:27
原创 《Learning Scrapy》（中文版）
序言第1章 Scrapy介紹第2章 理解HTML和XPath 第3章 爬蟲基礎第4章 從Scrapy到移動應用第5章 快速構建爬蟲第6章 Scrapinghub部署第7章 配置和管理第8章 Scrapy編程第9章 使用Pipeline第1
2019-07-04 23:15:19
原创 使用 Vagrant 打造跨平臺開發環境
https://segmentfault.com/a/1190000000264347 https://blog.csdn.net/ifeng6/article/details/75071800
2019-07-04 23:15:19
原创 Ubuntu 忘記開機密碼的解決方法
https://blog.csdn.net/horsee/article/details/81149567 https://blog.csdn.net/jacke121/article/details/80456046 https://b
2019-07-04 23:15:19
原创 scarpy 反爬之改ip改useragent
轉載自 https://www.cnblogs.com/rwxwsblog/p/4575894.html 如何讓你的scrapy爬蟲不再被ban 前面用scrapy編寫爬蟲抓取了自己博客的內容並保存成json格式的數據（scrapy爬
2019-06-11 04:14:32
1