原创 Django配置優化方法

一、使用多個setting文件 ​ 開發Django項目是最常見,也是最麻煩的一個問題就是如何區分開發配置與線上配置。有一些解決方案是利用配置文件是py文件這個特性,在配置裏面寫一些if-else來達到區分線上配置與開發配置的目

原创 django上線報ImproperlyConfigured:has multiple filesystem locations錯誤

今天在上線的時候uwsgi啓動報錯: django.core.exceptions.ImproperlyConfigured: The app module <module 'g32a' (namespace)> has mul

原创 這麼好用的離線OCR項目,我要摁頭安利給你!

爬蟲遇到了驗證碼無法識別? PDF 裏的掃描文檔讓你無從下手? 公司的有 OCR 需求但又不想花錢? 寫論文就想 抄參考 一段,但文庫下載都要收費? 不用擔心這些了! 來吧朋友,這款適合人類食用的離線中文 OCR 項目解決你所有

原创 提高爬蟲開發效率的幾個小工具

前言 一般開發爬蟲的時候,最心煩的不是它的反爬有多複雜,而是它的參數賊多,要一個個的複製進去。 所以自己寫了一個小工具,把抓包抓到的 header、data、cookie 這些參數轉換成 python 代碼。 大大的提高開發效率,

原创 談談我用在vue-cli3中預渲染遇到的坑

前言 在開發自己的個人網站的時候後,選擇了用vue來開發,不可避免的遇到要對seo做優化。鑑於目前頁面也不多,因此首先採用的是預渲染的方式。 本來以爲把插件一裝,配置一配,咔咔咔就能搞定,結果發現並沒有想的那麼簡單。因爲首先就遇到

原创 用Python在Excel裏畫出蒙娜麗莎

之前看到過很多頭條,說哪國某人堅持了多少年自學使用 excel 畫畫,效果十分驚豔。 對於他們的耐心我十分敬佩。 但是作爲一個程序員,自然也得挑戰一下自己。 這種需求,我們十分鐘就可以完成! 基本思路 實現這個需求的基本思路

原创 排序算法系列——快速排序

什麼是快速排序? 快速排序,顧名思義它排序的速度十分的快。 它快到什麼程度呢? C語言標準庫中的qsort函數就是使用快速排序實現的! 說到快速排序,離不開兩個重要的概念: 遞歸 和 分治算法(Divide ans conquer

原创 排序算法系列——冒泡排序

冒泡排序是是一種比較基礎簡單的算法。 它的原理是通過對比前後的元素大小,將較大的數換到後面的方式來實現排序 。 排序過程 舉個例子: 假如現在有一個無序數組disorder_arr = [4,2,19,10,-1]。 第一步: 取

原创 排序算法系列——選擇排序

什麼是選擇排序 選擇排序可以說是衆多排序算法中,最基礎、最直觀的一個算法了。 它的思想十分簡單: 遍歷列表,找出最小的一個數,記下索引 將最小的數添加到新的列表中,同時刪除原數組中的數 重複第一步 排序過程 舉個例子: 假

原创 幾種你可能不知道的Python裝飾器使用姿勢

在Python中,裝飾器是一種十分強大並且好用的語法,一些重複的代碼使用裝飾器語法的話能夠使代碼更容易理解及閱讀。 因此在這裏簡單總結了一下Python中裝飾器的幾種用法以及需要注意的事情。 一、在裝飾器中獲取被裝飾函數的參數 假

原创 CentOS 7 安裝 Tesseract-OCR4.1

1. 安裝依賴的leptonica庫 建議使用 su root 切換到root用戶下安裝,避免編譯過程中的權限不足問題 wget http://www.leptonica.org/source/leptonica-1.78.0.t

原创 【優化】py2下hbase的字符串編碼問題(\\xe7\\xbc\\x96)

引言 上次寫過一篇關於 py2下hbase的字符串編碼問題(\xe7\xbc\x96) 的文章,裏面的解決方案是正則來進行轉換,是一個有點傻但目前又無可奈何的解決方案,並且在最後留下了三個小坑。 本以爲應該可以穩定的使用一段時間,沒

原创 三個小工具,大幅提高爬蟲開發速度

引言 我們在進行爬蟲開發的時候,fildder是一個必不可少的神器。尤其是現在大型網站的反爬越來越難處理,經常會花費我們大量的時間來找到哪些參數是必須的。因此如果能夠快速的將fildder抓到的包裏面的參數轉換成python可用的格式

原创 【selenium】webdriver的安裝配置(附:可能最全的下載地址)

我們在寫爬蟲的時候,偶爾會遇到一些內容是通過js獲取,或者加密等一些情況,那麼這種情況就必須要祭出大殺器了——selenium。 嚴格來講,selenium是一個自動化測試的工具,不過用來做爬蟲也是極好的。它可以獲取到js加載後的頁面

原创 python爬蟲中一個str類型的unicode字符串轉成中文的問題

本文主要介紹部分爬蟲在遇到%u5317%u4eac%u70e4%u9e2d這種類似unicode編碼的str類型數據時,無法直接使用decode('unicode-escape')方法來轉成中文的時候,一個轉碼的解決方案,以及這個方