原创 python requests獲取網頁亂碼

獲取網頁我是這樣做的。 r = requests.get(url,verify=False) print r.text.encode(‘utf-8’) 打印處理的內容: 用瀏覽器去訪問網頁,查看編碼方式確實

原创 樹莓派養成之路 ——系統安裝

前言 天天在linux/unix下開發,閒暇之娛也玩玩硬件。想着有時間用樹莓派做個智能家居做個聽使喚的管家(先 YY下)。 正文 硬件 材料 數量 樹莓派3 1 外殼+風扇+散熱片 1 8G U盤 1 s

原创 linux ssh代理 –快速搭建代理服務器

前言:開發機器IP固定,路由上有限制,不通直連。是個很鬱悶的事。有個時間在網上看到的ssh代理轉發。命令功能很強大。在這我就對自己瞭解的畫了個間圖方便大家理解。 本地轉發、正向隧道 “本機”連上“ssh服務器”,然後把”ssh

原创 shell腳本小記 ——字符串截取

shell腳本小記 ——字符串截取 前言: 之前一直沒太認真琢磨。覺得網上有,不會的百度下。就是抱着這種態度,簡單的幾個技巧現在才一知半解。 正題 shell腳本字符串截取我大概想到有如下幾種方式: 1. sed 2. awk

原创 隨筆記一

前言 最近樂衷於python 和 樹莓派,試想着使用現有點小知識做個硬件控制。於是開始逛github 和 帖子 確實發現了不少有趣的人和事。 正文 有趣的微薄http://blog.just4fun.site/這人暫時不瞭解,大概

原创 SHA1WithRSA簽名使用openssl 實現

引言: 2017年就要到了,想想自己使用阿里雲搭的博客 眼看就要到期了。 雖說沒寫幾遍有質量的文章吧,但是放其不管也於心不忍。這幾天就琢磨着把幾遍有內容的轉到博客中。在尋求着落點的時候發現Markdown。看了CSDN中

原创 廢舊android手機變短信服務器

文章目錄前言正文原理說明實現過程開發環境代碼開發其它結尾**代碼和app請公衆號回覆[短信服務器]** 前言 之前有過段時間在想淘汰的android機怎麼廢物利用起來,也搜索過類似的文章做鬧鐘、做相框、做網絡視頻監控。我覺得這都不

原创 windows小工具txt轉xlsx

文章目錄前言正文內容演示部分代碼打包exe說明感悟源代碼和工具下載 前言 4月換了份新工作。在新環境下要學習的地方很多;工作側重點也有所改變。當然工作也更忙了。下班閒暇之餘敲敲代碼寫寫自己的程序也是一種享受IT職業的方式。 言歸正

原创 SUSE Linux 11 LVM磁盤掛載異常無法啓動

問題描述 服務磁盤異常,更換後。pv vg lv一套下來。啓動報系統文件異常。 錯誤信息: filesystem. if the device is .... fsck.ext3: No such file or direct

原创 一次完整的iptables+nginx+springboot部署

前言 最近用springboot做微信小程序後端。微信小程序後端服務只能使用443端口,導致應用只能使用root權限啓動。做爲長期linux工作者的我真忌諱使用root啓動應用。所以花了點實現學習下應用生產部署。 起初想簡單點直接使用

原创 linux 程序存儲時和運行時的結構

前言 看了些Linux內存管理的文章,寫一寫加深對內存管理的印象。 正文 程序的存儲 ELF是Linux的主要可執行文件格式。ELF文件由4部分組成,分別是ELF頭(ELF header)、程序頭表(Program header ta

原创 gvim windows簡要配置

前言 平時在一直在linux/unix下工作,早已經習慣使用vim編輯文本。在windows雖然也有衆多的編輯器,但用的不順溜。所以windows下也需要個vim。 gvim安裝 安裝gvim 運行下載的安裝程序,並按照說明一步一步

原创 下載百度雲的正確姿勢---油猴插件

前言 衆所周知百度雲盤的東西上傳容易下載難。如果上傳的速度是高鐵,那下載的速度就是自行車。如果你也有同樣的感受,今天小7就還你體驗下“超車的快感”。 正文 首先介紹下今天的主角:油猴Tampermonkey Tampermonkey

原创 十萬數據處理(初試python黑魔法asyncio)

前言 本篇要從小7的朋友說起。數據組的他收到業務提交的三個excel。要求將其中的地址轉成經緯度,然後匹配最近的銀行網點。現用的轉換程序約二秒出一條記錄,三個excel總數據量約十幾萬。這也難怪會愁了。 正文 0x01使用scrapy爬蟲

原创 scrapy初解——CSDN博客文章閱讀量統計

前言 自己寫爬蟲算下來多少也有那麼些了,但基本上都是爬的小數據完全不用考慮效率。但今天小J的朋友讓我幫忙爬下全國XXX酒店信息。這不得去考慮爬蟲效率,以及反反爬蟲技巧。此時我腦海裏第一想到了scrapy框架。今天小試scrapy,爬下自己