超酷!我不寫一行代碼,爬取GitHub上幾萬的Python庫

菜鳥獨白

爬蟲很有趣,很多同學都在學爬蟲,其實爬蟲學習有一定的成本,需要考慮靜態和動態網頁,有一堆的庫需要掌握,複雜的需要用scrapy框架,或者用selenium爬取,甚至要考慮反爬策略。如果你不經常爬數據,偶爾用用的話,有一種神器可以非常快速的爬取,分分種上手而且效果很不錯的。今天我們就來介紹一下這款神奇"WebScrapy"

安裝WebScrapy

跟其他的第三方的數據採集器相比,WebScrapy是一款Google chrome的瀏覽器的插件,安裝成本非常小.直接去WebScrapy官網下載,也可以在chrome裏面的store下載.

安裝完成之後,你就可以在你的chrome瀏覽器上看到一個小的蜘蛛網的圖標

爬取Github上的Python庫

大名鼎鼎的Github上有很多好玩的庫,有幾十萬個repo.爬取的方法有很多,但是用webscrape爬取非常簡單,幾分鐘就能完成!相比之下如果寫一個代碼去爬取的就是非常熟練的老手,也需要半個小時才能完成,代碼還需要調試。可見神器真的非常方便,成本非常的低,下面我們一步一步來講解:

1.目標網站分析

Github的網站結構非常簡單,也沒有啥反爬蟲的策略,我們在主頁搜索Python就會進入Python相關的主題頁面

裏面有關於Python的Repo近60萬個,每一個都有名字,多少顆星,更新時間等等,非常工整的格式.

2.url分析

上面的類別有很多比如Repositories, Code這樣的,我們挑其中的一種點擊查看:

  • p=1(表示page爲第一頁)
  • q=python(表示查詢的是Python)
  • type=Repositories(表示查的Repo)
  • 然後看一下頁面最底端有100頁.

瞭解上面的url規則之後,其他的網頁只要改改上面的參數就行了,比如第2頁,https://github.com/search?p=2&q=Python&type=Repositories&utf8=%E2%9C%93好下面我們開始爬網頁.

3.啓動Webscrapy

網頁空白處點擊右鍵選擇檢查,會進入我們屬性網頁審查元素的那個界面,在最末尾多一個webscraper菜單,點擊Create sitemap創建一個sitemap

接着我們填入名字和url的地址,這裏的url規則非常簡單,我們可以直接構造出100個url的網頁,名字可以隨便取我們就叫github

webscrapy會根據url的規則爬取每一頁的內容,類似一個循環。

4.爬取每一頁的內容

Github上的Python的庫都是一個一個規整的大列表,webscrapy支持很多類型的不同網頁元素的爬取,比如文本,超鏈接,圖片,Element等等,真是用心良苦啊,考慮的非常周全.

1). 增加一個selector

選擇我們的Sitemap是Github,然後開始增加一個selector

2).創建item

  • 首先id取一個名字:item
  • 然後選擇Type裏面,我們選擇Element
  • 接着選Selector 這個最簡單,就是去網頁上點點,這裏面我是把每一行的Python庫(包括名字,多少顆星,發佈時間等等)全部都在一個紅色框裏
  • 最後點擊Done selecting,不要激動哈,記得點Save selector保存.

3).在item裏面選擇標題,時間,多少顆星

上面我創建了item,item就想是一個收納架裏面有我們需要的內容,我們只需要在這個收納架上取我們需要的內容,比如標題,時間等等

4).在item下創建標題

過程和創建item的非常類似,只是Type選擇Text,然後點擊Selector從上面的橘黃色的框中選標題,然後點擊Done selecting,記得保存.(注意這裏的Parents Selector 選的item)****,大家不要小看這個Parent Selector,會有大用場.

5).類似的我們選取庫的description,多少顆,時間元素

5.開始爬取

萬事具備,我們可以開始愉快的爬取了,只需要點擊Sitemap下面的Scrape就可以了。接着會彈出一個請求間隔時間(Request nterval ms) 2秒和頁面下載等待時間(Page load delay ms)500,我們都用默認參數就可以了

1).看運行結果
WebScrapy會從第100頁開始從後往前一頁一頁的爬取,這個時候你可以倒杯茶,慢悠悠的邊喝茶邊等待結果,爬取100頁大概需要幾分鐘的時間.

可以看到我們非常方便的獲取的Python庫的名字,多少顆星,時間和描述,是不是很簡單啊,現在還差最後一招,保存結果。

2). 保存結果

上面的結果是在內存裏面的,最後我們需要保存到文件裏面,webscraper已經幫我們準備好了,點擊sitemap裏面的Export data as CSV,然後就會自動生成一個github.csv文件,我們下載就行了

結論:


是不是非常的爽啊,你只要構造多個url就可以爬幾萬的庫,webscrapy對於爬取市面上80%的頁面都是非常方便和簡單,不用寫一行代碼,分分鐘搞定!對於數據分析的人員來說簡直就是福音啊,但是webscrapy也是有利有弊,每一種技術都有它的使用範圍.我用它有一段時間了,至少有3個缺點,歡迎大家留言跟我一起討論.

目前wx搜索Python 【菜鳥學Python】排第二,匯聚了30萬Python愛好者,累計原創近400篇趣味乾貨(爬蟲,數據分析,算法,面試指南,原創趣味實戰,Python遊戲,機器學習),歡迎一起學Python,交流指正。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章