牛逼的chrome插件,不用一行代碼,輕鬆爬取各大網站公開信息!(附視頻)

小編最近在和同學聊天的時候,同學就感慨道,如今的各個網站的反扒手段是越來越厲害,前幾天寫的程序,過幾天就沒法用了,尤其像是大流量網站,例如某寶和某東,做的反扒真是越來越難,逼得他程序寫起來也越來越複雜。而我勸他不要再自己造輪子了,快來試試Google的爬蟲插件吧。

小編今天就爲大家推薦一個chrome瀏覽器的爬蟲插件神器——web scraper。讓大家只需要簡簡單單的幾個操作,不需要寫哪怕一行代碼,就可以爬取到我們想要的數據內容。

01.什麼是web scraper

web scraper是谷歌提供的網頁爬取插件,可以很方便的爬取數據。此外,web scraper插件會將數據爬取出來生成excel表格,供我們使用。非常方便,簡直就是懶人的福音啊!

02.如何安裝web scraper

對於scraper的插件,小編已經爲大家準備好,大家只需要下載後,任意解壓到指定的文件夾,然後在chrome瀏覽器中輸入chrome://extensions/。按照下圖的方式進行插件加載即可。

上圖中,首先啓動開發者模式,然後點擊“加載已解壓的擴展程序”。選擇我們解壓好的scraper文件夾,然後點擊選擇文件夾即可完成scraper插件的安裝。

03.如何使用scraper插件

對於scraper的插件使用,下圖所示:

上圖中,首先在開發者模式下打開Scraper,然後創建新的Sitemap,並將網頁的url鏈接填寫到Start URL中,對於Sitemap name的命名,大家可以隨意進行填寫。點擊Create Sitemap後,即可創建一個新的SItemap。在創建Sitemap後,接下來的操作纔是最重要的,如下圖所示:

上圖中首先選擇Add new selector,然後在Type中選擇link,並點擊Select。在網頁中點擊不同商品的鏈接,scraper會自動提取商品的url鏈接,並生成selector鏈接,點擊Done selecting即可。
  • 上圖中,在點擊Done selecting後,勾選Multiple(因爲是爬取多個商品url),這裏的Delay可以採用默認的值,或者是自己添加一個數值。
  • 並點擊Save selector。然後在Sitemap underwear下點擊Scrape,點擊Start Scraping後,scraper便會幫我們爬取到各個商品的url鏈接。
  • 在上圖的Sitemap underwear下拉菜單下,點擊Export data as CSV後,即可將爬取到的數據保存爲csv文件並下載下來。如下圖所示:

04.Scraper爬取多頁的鏈接

怎麼樣,是不是scraper非常的好用,不僅如此,scraper還能夠進行翻頁並爬取多頁的信息。

這個插件還是很牛逼的,其實原理就是用selenium 打開chrome瀏覽器進行爬取,只是google這個插件幫我們集成了好了。有興趣的小夥伴可以試一下。

目前wx搜索Python 【菜鳥學Python】排第二,匯聚了30萬Python愛好者,累計原創近400篇趣味乾貨(爬蟲,數據分析,算法,面試指南,原創趣味實戰,Python遊戲,機器學習),歡迎一起學Python,交流指正。

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章