學習爬蟲是入門python最好的方式。一個爬蟲程序的思維模式基本都是固定的，編程模式相對其它而言也是最簡單的，只要多去實踐，慢慢積累後一般都可以學的還不錯。
此篇文章講得就是對一個網頁以BeautifulSoup和lxml爲根本，進行多種抓取信息方法實戰。
一般爬蟲的固定模式
即無需處理像異步加載、代理、驗證碼等高級爬蟲技術的方法。一般情況下的爬蟲兩大請求庫 urllib 和requests中 requests大家都非常喜歡用，urllib功能也是非常齊全。
兩大常用的解析庫BeautifulSoup由它強大的HTML文檔解析功能而被大家廣泛使用，另一個lxml解析庫與xpath表達式搭配效率也是顯著提高。
各有特色，完全是看個人喜好去使用。我比較熱衷於
四種實現爬蟲的方法
例舉一個網頁首頁如下：在這裏還是要推薦下我自己建的Python開發學習羣:304+050+799，羣裏都是學Python開發的，如果你正在學習Python ，小編歡迎你加入，大家都是軟件開發黨，不定期分享乾貨（只有Python軟件開發相關的），包括我自己整理的一份2018最新的Python進階資料和高級開發教程，歡迎進階中和進想深入Python的小夥伴
爬蟲效果如下：
一樣是BeautifulSoup與requests的爬蟲組合，然而再信息提取上採用了find_all的方法，效果：
和第三種方法相似，不過是在解析上使用了lxml庫下的 html.fromstring模塊，效果如下：
還有些人認爲爬蟲很難學會，感覺知識點很多，比如熟練前端、python、數據庫、正則表達式、XPath表達式這些。然而爬蟲需要嗎？是的需要。但是你完全可以繞過這些直接學爬蟲，到了不懂的地方再去翻資料學就是了。爬取網站時儘量多使用不同的方法，加深對Python爬蟲的應用。