原创 UnicodeDecodeError: 'utf-8' codec can't decode byte 0x93 in position 9: invalid start byte
f = open(file_path, 'r'，encoding='utf-8) 代碼一直報錯誤：UnicodeDecodeError: ‘utf-8’ codec can’t decode byte 0x93 in posi
2020-06-28 08:17:03
13
原创 ModuleNotFoundError: No module named 'fcntl'
解決辦法：在python路徑下的Lib中新建一個fcntl.py文件內容如下： def fcntl(fd, op, arg=0): return 0 def ioctl(fd, op, arg=0, mutable_fl
2020-06-28 08:17:03
27
原创 centos安裝淘寶cnpm成功後，報錯: bash: cnpm: command not found...
(1)安裝cnpm npm install -g cnpm --registry=https://registry.npm.taobao.org (2)cnpm -v未找到命令 （3）建立軟連接後，再查看版本就大功告成啦！
2020-06-28 08:17:03
原创 成功安裝了docker-compose，但是一直提示command not found...
Here’s how I fixed this issue: Refer Docker Compose documentation (1)sudo curl -L https://github.com/docker/compose
2020-06-28 08:17:03
3
原创 github使用教程(3)
1.將本地代碼push到github git init git add ./* #根據自己實際情況進行添加 git commit -m “first commit” git remote add origin https:
2020-06-28 08:17:03
原创 運行python run_flower.py 一直找不到節點
執行pip install flower後，再運行python run_flower.py就可以了
2020-06-28 08:17:03
原创 join的使用總結
try: #addr 是一個列表 ['山東省','青島市','奎文區'] addr = html.xpath('//dl[@class="codl"]/dd[1]/a//text()')#拿到地址所屬省、市、區
2020-05-31 20:05:52
原创 爬蟲中403問題
今天爬蟲遇到一個情況，使用了代理，但程序有時狀態403，導致有些數據獲取不到！ 最後我的解決辦法： 有很多情況會出現這種情況,403代表服務器拒絕返回數據了,應該是頻繁訪問,導致可能限制ip,限制瀏覽器,限制賬戶這種情況出現,服務
2020-05-31 20:05:52
原创 項目遇到的一些問題
近期做的都是迭代項目，代碼基本每個月都可以正常運行，只是如果突然加速，會導致某些網站數據拿取不到。故特地做一下總結，主要目的是爲了提醒我自己： 1.爬蟲迭代項目最好控制勻速爬取，不要突然大量提速，容易導致爬蟲被識別到 2.代碼的爬
2020-02-21 03:46:39
原创 918一點教訓總結
哈哈，此文和技術無關，僅總結一下個人的一點經歷。昨天是中國恥辱的一天，918事件紀念日，同時也是我的恥辱日。讀書以來，一直到工作，從來沒被小偷偷過。昨晚一時大意，背了個雙肩包，將手機隨手丟進包裏被偷了。因爲我對cd的印象一直很好，
2019-09-26 21:03:50
原创 爬蟲取列表遇到的問題總結
比如我想取類似下面的博客裏的所有標題 ![在這裏插入圖片描述](https://img-blog.csdnimg.cn/20190925160159244.png?x-oss-process=image/watermark,typ
2019-09-26 21:03:50
原创 一些解決問題的心得體會
最近一直在弄一個爬蟲系統項目，遇到過很多小問題，可是在沒解決之前都是花了我很久的時間。因此，特地向寫一點總結： 1.遇到問題不要害怕，不要畏首畏尾。一個字，幹就行 2.解決問題的最好辦法是找各種方法進行嘗試，原地發呆並非良方 3.
2019-09-15 16:40:31
原创 運行run_flower.py文件一直無法打開http://localhost:5555/解決辦法
幾乎一下午一直無法進入http://localhost:5555/，找了很久原因都沒解決。最終一個博客直接解決了我的問題。 直接：pip install flower 然後訪問 http://localhost:5555/ 即可。
2019-09-15 16:40:31
原创 運行程序遇到的問題
py4j.protocol.Py4JJavaError: An error occurred while calling o36.load. org.apache.spark.SparkException: Unable to
2019-07-30 16:57:45