背景需求
永恆君經常會在東方財富網站上面蒐集查詢一些行業股票信息,如下圖:
這些就是網站給我們分類好的證券行業的信息。假如需要跟蹤這些行業的公司的話,勢必需要蒐集這些公司的基本信息(牛市裏跟蹤券商誰都知道吧~~)
今天這篇文章來分享一下,使用web scraper來快速實現東方財富股票信息。
以上面證券行業的這些公司爲例,一共有3頁,47家公司,想把這些公司的行情信息都抓取下來。
需求分析
通過仔細觀察,我們發現,點擊翻頁的時候,網頁的網址是不會變化的。
這樣的話就不能使用更換有規律的網址那種方法了。看過永恆君視頻的朋友應該有印象,這裏需要使用到Element Click選擇器。(視頻傳送門在這裏:動態加載),使用這個選擇器就可以對網頁進行翻頁。
在這個選擇器之下呢,在配上Table選擇器,即可完成任務
配置運行
1、Element Click選擇器配置如下圖:
2、接下來配置Table選擇器就比較簡單了
整體的一個結構圖就是這樣:
爬取的結果如下:
爬取其他的行業信息
有了上面的這個模板,爬取其他行業的就輕鬆多了。
比如說多元金融的行業信息,只需要打開行業信息,複製網址,粘貼更換掉剛纔web scraper配置的起始頁即可。
爬取的結果如下:
如果要爬取股指期貨的行業信息,複製網址,粘貼更換掉剛纔web scraper配置的起始頁即可。
爬取的結果如下:
通過這樣的方法,無論你可以想抓熱點概念、熱門板塊,還是基金、期貨、外匯、債券,只要是網站提供有的數據,統統不在話下。
永恆君把整個sitemap文件準備好了,如果你感興趣的話,聯繫我即可。
之前還寫過這些實例:
不用代碼玩轉爬蟲實例(1) – 抓取貓眼電影信息
不用代碼玩轉爬蟲實例(2) – 抓取天眼查企業基本信息
不寫代碼玩轉爬蟲實例(3) – 抓取攜程酒店信息
歡迎交流!