原创 python面向對象設計系列 -預告
好久沒寫博客了，主要是感情問題，使得我的情緒很低落，很多事情根本提不起興趣.但我不能一直停留在感情漩渦中，有些事情總會過去，自己也打算從漩渦中走出來，積極擁抱變化.所以我打算寫一個python面向對象的系列（我從工作和看別人的示例
2020-07-06 20:24:22
1
原创 關於celery連接rabbitMQ錯誤：ConnectionResetError: [Errno 104] Connection reset by peer
爬蟲使用celery從RabbitMQ取數據的時候，會遇到這個錯誤，關於錯誤的原因在於：網絡不穩定或者連接時間過長.我的原因是在於時間過長，因爲爬蟲消化需要一定的時間. 下面開始我的填坑之路： 1、在github issue裏面，
2020-06-19 11:35:29
52
原创 bash: ./test.sh: /bin/bash^M: bad interpreter: No such file or directory
背景:在windows上寫了個shell腳本,放到服務器上跑,出現了這個問題. 解決辦法得知,unix有一套自己的文件格式,需要設置成unix格式,才能運行.這是我找到的解決辦法: sed -i "s/\r//" test.sh
2020-06-19 05:35:22
2
原创 Go can't load package:
新手在安裝一個go包時遇到了這個錯誤。 如圖： 解決辦法：將first_webapp放入Go目錄的src中。 結果：
2020-06-19 05:35:22
原创 peewee 實現 有則更新，無則插入.
背景：想用peewee實現 mysql數據庫 有則更新，無則插入.幾番查找，發現在官方文檔中有.下圖： 在本地的數據庫測試了，以下是測試語句及結果： 表結構 class Practice(Model): id = Aut
2020-06-19 05:35:22
3
原创 scrapy 沒有加載ImagesPipeline
背景:使用scrapy crawl命令時是加載了image pipeline,用腳本的形式,啓動多爬蟲時,卻沒有加載imagepipeline, 卻加載了productraw和fileweiter兩個pipeline. 解決辦法
2020-06-19 04:24:20
原创 Chromium 版microsoft edge 安裝 | Microsoft Edge Insider
剛剛收到微軟 win10 insider 會員的郵件，告訴我說新版 microsoft edge測試版已經提供測試版下載，於是趕緊下了嚐嚐鮮. 更新博客說明(節選)： 這個版本是穩定版發佈前的最後一個測試版，版本號是79，穩定版將
2020-06-19 04:24:20
原创 關於win10微軟商店打不開的99%解決辦法
關於win10微軟商店打不開的解決辦法 原因：莫名其妙商店就打不開了，windows treminal 無法更新，真是太操蛋了. 解決辦法：嘗試了網上各式各樣的解決辦法均無效(什麼TLS1.2、路由代理……均不管用)，似乎只有一條
2020-06-19 03:04:28
原创 supervisor部署celery實踐
原因想用celery執行一些爬蟲的後續操作,不佔用爬蟲爬取的時間.嘗試了不同的方法感覺supervisor最靠譜,這也是celery官方推薦的做法. 做法: 1 安裝 supervisor sudo apt-get install
2020-06-19 03:04:28
原创 Python 正則裏 re.compile 真的是必需的嗎？
背景：我在爬蟲處理某個文本時，用到了re.findall()，而不是re.compile。遠在新加坡的同事提出了質疑，認爲以我的水平，不應該寫出這樣影響性能的代碼，讓我優化一下。我提出了反駁：既然使用了Python，就不應該太過考
2020-06-19 03:04:28
原创 execjs._exceptions.ProcessExitedWithNonZeroStatus
報錯如下圖： 提示我292的換行符有問題，剛開始我以爲是我服務器的nodejs環境沒有配好，就忽略了換行錯誤，後面發現nodejs已經配置好了，才轉過來正視這個問題. 在gitlab的textview裏發現了端倪： 在pych
2020-06-19 03:04:28
22
原创 The X11 connection broke (error 1). Did the X11 server die?
背景： mac跑docker的spalsh遇到的錯誤，開始我以爲時mac休眠的問題(遠程鏈接的)，後面看了docker日誌，發現並不是這樣. 解決辦法：將lua裏面的在這裏： splash.images_enabled = f
2020-06-19 03:04:28
原创 scrapy redis.exceptions.ResponseError
錯誤如下： 2020-02-05 10:58:30 [twisted] CRITICAL: Traceback (most recent call last): File "C:\Users\pudding\Anaconda3
2020-06-19 03:04:28
原创 'pip' is not recognized as an internal or external command
昨天win10更新之後，今天使用pip命令碰到如題的錯誤，系統突然就不認識pip命令了，google得知，將pip目錄(Scripts)放到Path中就可以了，如下(我用的anaconda，用的純python的話，目錄應該Py36
2020-06-19 03:04:28
1