原创 Citrix XenServer虛擬機安裝詳細過程圖文教程

    XenServer是在雲計算環境中經驗證的企業級虛擬化平臺,爲企業提供創建和管理虛擬基礎架構所需的所有功能。深得很多要求嚴格的企業信賴,廣泛使用於運行最關鍵的應用,已被最大規模的雲計算環境所採用。Xen Server支持直接安裝在

原创 Python爬蟲從入門到放棄(十二)之 Scrapy框架的架構和原理

本文出自“python修行路”博客,http://www.cnblogs.com/zhaof/p/7173397.html這一篇文章主要是爲了對scrapy框架的工作流程以及各個組件功能的介紹Scrapy目前已經可以很好的在python3

原创 Python爬蟲從入門到放棄(十七)之 Scrapy框架中Download Middleware用法

本文出自“python修行路”博客,http://www.cnblogs.com/zhaof/p/7198407.html這篇文章中寫了常用的下載中間件的用法和例子。Downloader Middleware處理的過程主要在調度器發送re

原创 Python爬蟲從入門到放棄(十六)之 Scrapy框架中Item Pipeline用法

本文出自“python修行路”博客,http://www.cnblogs.com/zhaof/p/7196197.html當Item 在Spider中被收集之後,就會被傳遞到Item Pipeline中進行處理每個item pipelin

原创 centos7下將Python2.7.5升級到Python3.6.1以及再還原到2.7.5

安裝相關的軟件包 避免出現編譯出錯,無法編譯,升級之後無法使用等情況[root@yuhai ~]# yum install -y zlib* readline* gcc* #過程忽略 從Python官網下載python3.6.1的安裝包[

原创 CentOS7下安裝VMware Workstation12

相較於virtualbox,VMware由於閉源的特性,穩定性以及兼容性都不如前者,但因爲筆者之前的虛擬機都使用的是VMware,所以還是嘗試安裝了VMware首先請將主板security boot選項設置爲off安裝起來很簡單,首先下載

原创 Python爬蟲從入門到放棄(十五)之 Scrapy框架中Spiders用法

本文出自“python修行路”博客,http://www.cnblogs.com/zhaof/p/7192503.htmlSpider類定義瞭如何爬去某個網站,包括爬取的動作以及如何從網頁內容中提取結構化的數據,總的來說spider就是定

原创 Python爬蟲從入門到放棄(十八)之 Scrapy爬取所有知乎用戶信息(上)

本文出自“python修行路”博客,http://www.cnblogs.com/zhaof/p/7215617.html爬取的思路首先我們應該找到一個賬號,這個賬號被關注的人和關注的人都相對比較多的,就是下圖中金字塔頂端的人,然後通過爬

原创 linux定時任務crond那些事!

1.定時任務crond介紹1.1 crond是什麼crond是linux系統中用來定期執行命令或指定程序任務的一種服務或軟件。特殊需求:(秒級別)crond服務就無法搞定了,一般工作中寫腳本守護進程執行。  1.2 爲什麼要使用crond

原创 Python爬蟲從入門到放棄(十四)之 Scrapy框架中選擇器的用法

本文出自“python修行路”博客,http://www.cnblogs.com/zhaof/p/7189860.htmlScrapy提取數據有自己的一套機制,被稱作選擇器(selectors),通過特定的Xpath或者CSS表達式來選擇

原创 Python爬蟲從入門到放棄(十三)之 Scrapy框架的命令行詳解

本文出自“python修行路”博客,http://www.cnblogs.com/zhaof/p/7183220.html這篇文章主要是對的scrapy命令行使用的一個介紹創建爬蟲項目scrapy startproject 項目名例子如下

原创 Python爬蟲番外篇之Cookie和Session

本文出自“python修行路”博客,http://www.cnblogs.com/zhaof/p/7211253.html關於cookie和session估計很多程序員面試的時候都會被問到,這兩個概念在寫web以及爬蟲中都會涉及,並且兩者

原创 centos所有服務器模板機的基本優化

sed -i ‘s/SELINUX=enforing/SELINUX=disabled/’ /etc/selinux/config grep SELINUX=disabled /etc/selinux/config setforce =0

原创 Citrix 服務器虛擬化之四 Xenserver資源池

            Citrix 服務器虛擬化之四  Xenserver資源池     資源池包括多個XenServer主機,並彙集成一個單一的管理實體,用來承載虛擬機。當與共享存儲相結合,資源池允許虛擬機啓動。任何XenServer

原创 三劍客之SED行天下

功能說明Sed是Strem Editor(流編輯器)縮寫,是操作、過濾和轉換文本內容的強大工具。常用功能有增刪改查,過濾,取行。[root@oldboy ~]# sed --version #→ sed軟件版本 GNU sed versi