原创 用swoole搭建分佈式的websocket服務器

背景 websocket在長連接應用場景中用的越來越多,隨着業務量和應用場景的增加單臺服務器所能提供的連接數達不到需求,所以多臺服務器分佈運行是日漸趨勢。 實現思路 本次使用swoole來提供websocket服務,所

原创 mysql事務鎖死解決

在做mysql事務鎖表的時候,未進行提交。會導致表進行鎖死,無法操作活超時,此時執行 SHOW FULL PROCESSLIST 結果如 找到事務執行的db,看看等待時間最長的那個id,然後執行kill id即可大部分解決

原创 正向代理和反向代理

系統內部要訪問外部網絡時,統一通過一個代理服務器把請求轉發出去,在外部網絡看來就是代理服務器發起的訪問,此時代理服務器實現的是正向代理 當外部請求進入系統時,代理服務器把該請求轉發到系統中的某臺服務器上,對外部請求來說,與之交互的

原创 nginx配置負載均衡

1.配置負載,本次採用docker來實現,分別採用容器nginx1,和niginx2來代表服務配置如下 每個啓動腳本內如如下 每個html文件內容 ,一個是nginx1,另一個是nginx2 第一個nginx1 容器用服務器

原创 Git Bash commit 出現 Aborting commit due to empty commit message解決方法

錯誤復現 vim 項目中修改任意文件,正常 wq 保存 git commit -a 輸入 log 內容後,強制關閉 git bash 再次打開 git bash,輸入git commit -a ,此時報錯 git bash 錯誤提示

原创 記一次scrapy抓取騰訊新聞列表

1.聲明:本次只做測試用,禁止一切商業或者違法活動。 2. 配置環境 本次採用python3.6+scrapy+splash+mysql 等工具進行騰訊新聞列表抓取。由於騰訊新聞全部採用js動態渲染,爬出來得數據全部是js未渲染得東西

原创 CentOs安裝docker及docker-compose

安裝docker sudo yum remove docker \ docker-client \ docker-client-latest \

原创 爬蟲中使用Splash渲染js

在使用爬蟲的時候,你是否遇到這樣的困惑,要爬的網站(例如:https://news.qq.com)在瀏覽器上明明是可以看到源代碼的,但是使用request或者script的爬取頁面信息的時候只返回了頁面的js代碼,和html 頭部

原创 docker hub切換中國源

curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://ef017c13.m.daocloud.io 然後重啓

原创 python中的yield的

介紹 怎麼說這個yield呢,python和php7中都有這個關鍵字。網上的說法是:帶有 yield 的函數不再是一個普通函數,而是一個生成器generator,可用於迭代。 詳解 yield在python 裏就是一個生成器。當你使

原创 微信安全域名,業務域名test的坑

微信公衆號配置時:業務域名,JS接口安全域名,網頁授權域名 要是域名裏有test 的那麼恭喜你,可能半天通不過,無法訪問指定的xxxx.com 服務器的目錄。請檢查網絡設置。對就是這個錯。 搞了半天,都要放棄了。才換了域名試出來

原创 git pull 失敗 ,提示:fatal: refusing to merge unrelated histories

兩個分支 git pull 失敗 ,提示:fatal: refusing to merge unrelated histories 報這個錯, git pull origin master --allow-unrelated-hist

原创 docker中django 導入失敗問題

在docker中使用python3.6+django做web服務,結果啓動不了報錯如下 雖然我已經執行過 pip3 install django 了但是還是失敗,這個時候是少安裝了個 virtualenv 開發環境,這個需要安裝執行

原创 coding+webHook+git實現代碼自動發佈

本人一般將代碼放到coding上,誰讓coding是免費的呢。在開發過程中本地提交代碼後,還得在服務器上去pull 一下代碼。然後重啓,真麻煩。 利用coding提供webHook可以實現代碼的自動更新他的原理是什麼呢?就類似git

原创 nginx做靜態資源文件服務器

近期七牛域名被封了,圖片沒法用了,就暫時把文件放服務器上,在用nginx做轉發,nginx配置就不說了,直接上配置文件吧。 server { listen 8081; server_name xxxxx.com; loca