原创 爬蟲基礎-requests庫
Python 的requests庫 requests 是用Python 寫的，基於urllib，採用Apache2 Licensed 開源的HTTP庫。他比urllib更加方便，可以節約我們大量的工作。完全滿足HTTP測試的需求。 好了
2020-06-29 05:08:34
原创 爬蟲基礎-- 正則基礎
re模塊是python 中專門處理正則相關的模塊 下面專門介紹一下正則表達式。 相關的正則測試網站推薦一個。 http://tool.oschina.net/regex/ re.match re.match 嘗試從字符串
2020-06-29 05:08:34
原创 python爬蟲 -- scrapy框架
Centos 7 安裝scrapy 在安裝了pyenv的基礎上。可以支持多版本的python。再安裝相關包。 yum install gcc libffi-devel openssl-devel libxml2 libxslt-de
2020-06-29 05:08:34
原创 Python IP 的處理模塊
IPY ip的處理方面經常需要處理 大量的IP地址。包括網絡性能，網絡掩碼，廣播地址，子網數，IP類型進行判斷。IPy 模塊就可以很好的解決這個問題。 安裝方式 # pip install IPy 判斷 ip 的類型 >>>
2020-06-29 05:08:34
6
原创 Pyspider 框架的用法
Pyspider Pyspider是國人開發的開源且強大的網絡爬蟲系統 python 腳本控制，可以用任何你喜歡的html解析包（內置 pyquery），WEB 界面編寫調試腳本，起停腳本，監控執行狀態，查看活動歷史，獲取結果產出，數據
2020-06-29 05:08:33
1
原创 python 獲取系統基礎信息
系統基礎信息包括 Linux基本性能，塊設備，網卡接口，系統信息，網絡地址庫等信息。 使用的是psutil模塊。 安裝方法十分簡單 pip install psutil 就好 內存信息 查看物理內存的total值和物理內存的u
2020-06-29 05:08:33
原创 爬蟲基礎 -- 用Flask+Redis維護代理池
因爲在爬蟲的時候經常經常會遇到封IP 的情況，那麼使用代理就可以解決這個問題。 池子裏面放一些代理，而且需要定期的檢查。 互聯網上公開了大量的免費代理，而且互聯網上也有付費的代理。 代理池的要求： 1.多站抓取，異步檢測 2.定時篩選
2020-06-29 05:08:33
原创 爬蟲基礎 -- pyquery
Pyquery 強大又靈活的網頁解析庫，相比而言，正則寫起來太麻煩。如果說beautifulsoup語法太難記，如果熟悉jQuery，那麼Pyquery是絕佳的選擇。Pyquery是模仿jQuery的。 初始化 字符串
2020-06-29 05:08:33
原创 angular7 中如何使用自己的monaco編輯器（vscode）
vscode 是一款很裝逼的編輯器，如果將其移至進到web瀏覽器就更牛逼了。 參考 https://github.com/materiahq/ngx-monaco-editor ng new monaco-editor-demo cd
2020-06-01 02:48:33
原创 Django2.0 利用ajax打造博客的評論區
首先評論區是需要前端與後臺交互的，前端上接受用戶的輸入。在輸入完成後，立馬在評論區顯示。首先是urls.py path('article/<int:article_id>/comment',views.comment_view,na
2020-02-21 05:49:50
原创 在Pythonaywhere上部署我的Django項目
在完成一個django網站後，總想向大家展示一下我的作品，但是，又沒錢買域名和服務器，難道只能在自己的電腦上運行嗎。當然不是。可以在 pythonanywhere.com 上面部署我們的代碼。可以直接通過這個網站的域
2020-02-21 05:49:50
原创 Filebeat，Redis和ELK6.x集中式日誌解決方案
簡介 ELK 不是一款軟件，而是 Elasticsearch、Logstash 和 Kibana 三種軟件產品的首字母縮寫。這三者都是開源軟件，通常配合使用，而且又先後歸於 Elastic.co 公司名下，所以被簡
2020-02-21 05:49:50
原创 APUE 讀書筆記（一）
應老大要求，從今天開始APUE的讀書筆記。其實就是一些比較需要注意的點第一章. UNIX基礎知識 一、登陸拿到一臺Linux主機，最新開始的是登陸。Linux 登陸的驗證是靠 /etc/passwd 這個文件的。$ grep kios
2020-02-21 05:49:50
原创 Pycharm，GoLand，Phpstorm等jetbrains在Linux(Centos)下無法輸入中文的問題解決。
在Linux下使用tar包解壓縮的編程工具存在中文輸入不了。卻在終端或者網頁都可以正常使用中文輸入。這是怎麼回事呢？首先確保ibus都裝好着呢。# yum grouplist hidden |grep "Input" Input M
2020-02-21 05:49:50
原创 scrapy 的命令行
Scrapy命令行 Scrapy是通過scrapy命令行工具控制的，在這裏被稱爲“Scrapy工具”，以區別於我們剛剛稱之爲“命令”或“Scrapy命令”的子命令。 首先創建 scrapy項目。 [root@lol spider]# sc
2020-02-21 05:49:50