原创 python去除拼音聲調字母,替換爲字母

第一種方法 import sys import unicodedata s = "Lǐ Zhōu Wú" remap = { # ord返回ascii值 ord('\t'): '', ord('\f'): '', ord('\r

原创 網站爬蟲驗證碼識別之驗證碼去噪點算法,去幹擾項算法。

在抓取網站過程中難免碰到圖片驗證碼的問題,要想識別驗證碼,可以採取機器學習的相關算法,如svm,knn,卷積神經網絡等來識別破解驗證碼,今天我來分享一個能極大提高驗證碼識別率的操作,去除驗證碼中的噪點。 下面是去噪前和去噪後的效果對比圖

原创 HTTP協議中關於請求頭參數的解釋

part of Hypertext Transfer Protocol -- HTTP/1.1RFC 2616 Fielding, et al.14 Header Field Definitions This section defi

原创 Apache 的 httpd.conf 屬性詳解(收藏)

ServerRoot “/usr/local“        ServerRoot用於指定守護進程httpd的運行目錄,httpd在啓動之後將自動將進程的當前目錄改變爲這個目錄,因此如果設置文件中指定的文件或目錄是相對路徑,那麼真實路徑就

原创 shell腳本實現通過ssh跳板機(動態密碼)一鍵登陸服務器(相關問題與解決方案)

在我日常工作中,登陸服務器一般分爲兩個個步驟,通過ssh命令登陸跳板機,然後再通過跳板機登陸服務器。登陸跳板機又分爲三個步驟,輸入一長串用戶名,再通過手機令牌查看動態密碼,輸入密碼+動態碼。這樣每次登陸服務器都需要這麼繁瑣的步驟,在需要解

原创 mac下python matplotlib中文亂碼解決方案(親測可用)!!

在網上找了一大堆方法,花了很久,發現不是要安裝各種字體就是要改配置,而且字體真的不好找也不好安裝就例如下面這兩種辦法,mac下根本不管用,別人管不管用我不知道,反正我試過了無效import numpy as np import matpl

原创 shell 腳本實現ssh自動登錄跳板機和服務器

#!/usr/bin/expect set salt [lindex $argv 0] set password 123456 #跳板機密碼 set username myname #跳板機用戶名 set server work@12.

原创 django 發送EMAIL模塊報'Authentication required'或Error: need EHLO and AUTH first錯誤解決

首先可以使用python內置的 smtplib 模塊檢驗是否是網絡問題或者是你的郵箱客戶端設置的問題import smtplib smtp_server = 'smtp.qq.com' smtp_port = 587 server = s

原创 mac 下iterm2終端安裝rz sz 命令方法(親測可用)

1.首先下載item2,地址:http://www.iterm2.cn/download2.然後需要下載 iterm2-send-zmodem.sh 和 iterm2-recv-zmodem.sh 保存到mac的 /usr/local/b

原创 mac解決端口占用問題,找出端口占用的進程並kill掉

使用lsof命令 lsof -i:-P #例如 lsof -i:3306 然後 會出現類似如下 COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME

原创 php pdo_mysql連接報錯Connection failed: SQLSTATE[HY000] [2002] No such file or directory解決辦法

網上發現一篇文章是這麼寫的:   就是 sudo vim /etc/php.ini 把以下三個原來空白的值都設置爲 /tmp/mysql.sock mysql.default_socket = /tmp/mysql.sock

原创 python使用threading.Timer實現線程循環任務定時器(一)

在進行爬蟲系統開發的過程中遇到需要間隔一段時間就重複執行的任務的需求,就想實現一個線程服務在後臺監控數據的抓取狀態,要想實現定時循環任務的腳本可以使用linux下的crontab命令來執行,但是在一個項目裏不太適用於使用這種辦法,所以想啓

原创 xpath meta itemProp標籤無法匹配到的問題

部分html代碼如下''' <div class="QuestionPage" itemscope="" itemType="http://schema.org/Question"> <meta itemProp="name" conte

原创 pycharm正則替換小技巧

在django開發過程中,可能遇到需要把HTML文件中的靜態文件的路徑全部替換爲django模板引用路徑的格式例如將 <link rel="stylesheet" type="text/css" href="/static/css/res

原创 一分鐘解決python3中的lxml庫中沒有etree模塊的問題

在將以前寫過的python2.7版本的代碼遷移到python3.6版本的環境中遇到了lxml中沒有etree模塊的問題,經過查閱代碼和資料發現使用pip安裝的lxml庫是最新版的,其中沒有集成etree模塊,我看了自己之前使用的lxml版