原创 GitLab安裝及使用

背景:在糾結使用Jenkins還是GitLab作爲CI/CD工具,最終決定使用GitLab,原因就是非常看好GitLab的未來。 安裝環境: CentOS 7.8.2003 部署: 允許http、https、ssh連接

原创 某招聘網站爬蟲遇到的坑:MeEwMD

想要爬取某招聘網站(zhilian),分析就業形勢,但發現一個令人迷惑的東西:MeEwMD 簡單搜了一下發現這玩意兒天生就是爲了反爬的,就我目前的水平來講,幾乎無解… 參考:https://zhuanlan.zhihu.com/

原创 ubuntu Aria2 AriaNg安裝

原本是想使用油猴獲取到百度網盤文件的直鏈再用Aria2下載,但發現獲取直鏈的方法已經失效了,沒辦法只能記錄一下Aria2和AriaNg的安裝方法 安裝Aria2 >>> sudo apt-get install aria2 >

原创 MySQL count(*)優化

待優化表信息: 配置 字段數 記錄數 引擎 有無索引 4CPU-16GRAM 27 1719647 InnoDB 無 1CPU-1GRAM 27 1719647 InnoDB 無 無WHERE的COUNT(*

原创 ubuntu 19.10使用samba與win10共享文件夾

安裝 >>> sudo apt install samba >>> sudo apt install smbclient 配置 >>> sudo vim /etc/samba/smb.conf [share] comme

原创 macOS 下 iTerm 2 加 Oh-My-Zsh 下遠程執行python輸出中文報錯

問題 ssh 到服務器 python xxx.py 時出現 UnicodeEncodeError: 'ascii' codec can't encode character in position 0: ordinal not i

原创 解決“command not found: flask”

安裝完flask後 >>> export FLASK_APP=hello.py >>> export FLASK_ENV=development >>> flask run zsh: command not found: flas

原创 解決mac下vscode等應用中vim光標無法快速移動

在使用vscode 或者jupyterlab的時候,可能會習慣將編輯器的鍵盤佈局映射爲vim的,但出現了一個問題,macbook的長按‘hjkl’移動光標的功能好像不能用了,想要移動光標只能一下一下的敲,非常不方便,全局開啓\關閉

原创 kudu數據庫無法添加列註釋(CDH小於6.3.0)

僅爲個人經驗總結,不保證正確性 kudu數據庫無法添加列註釋(CDH<6.3.0) CDH<6.3.0的kudu,在創建表的時候使用comment語法,可以正常創建,但是不會顯示comment,即 DESCRIBE [table

原创 python使用googletrans包進行翻譯

安裝 pip3 install googletrans 使用 >>> from googletrans import Translator >>> translator = Translator(service_urls=['t

原创 0401自學web後端之——認證

認證(Authentication)基礎概念 簡單來說,目前流行的認證方式有HTTP basic auth和OAuth,其中前者沒有後者安全性高,後者使用Token進行認證,而Token的一種流行規範是JWT(Json Web T

原创 0402自學web後端之——使用flask-mail發送郵件

安裝: >>> pip3 install flask_mail 設置環境變量 >>> export MAIL_USERNAME=發件郵箱地址@163.com >>> export MAIL_PASSWORD=發件郵箱授權碼 >>

原创 python中可變類型在修改中需謹慎

由於python中tuple與str類型是不可修改的,dict和list是可以修改的,因而在對其進行一系列修改操作的時候需千萬謹慎,其中涉及了python的assignment、copy和deepcopy一些內容。 可參考: h

原创 python 數據持久化

能夠進行持久化的包有dbm和shelve,前者有一定限制,就是鍵值必須爲字符串或者字節,如果值爲列表或者字典再或者其他類型對象就會報錯,而後者的值可以爲任意python對象,這個特性依賴另一個包:pickle。pickle是將一個

原创 0401自學web後端之——Flask配置文件

輸出默認config from flask import Flask, current_app app = Flask(__name__) with app.app_context(): print(dict(current