不寫代碼玩轉爬蟲實例(4) - 抓取東方財富股票信息

背景需求

永恆君經常會在東方財富網站上面蒐集查詢一些行業股票信息,如下圖:

這些就是網站給我們分類好的證券行業的信息。假如需要跟蹤這些行業的公司的話,勢必需要蒐集這些公司的基本信息(牛市裏跟蹤券商誰都知道吧~~)

今天這篇文章來分享一下,使用web scraper來快速實現東方財富股票信息。

以上面證券行業的這些公司爲例,一共有3頁,47家公司,想把這些公司的行情信息都抓取下來

需求分析

通過仔細觀察,我們發現,點擊翻頁的時候,網頁的網址是不會變化的

這樣的話就不能使用更換有規律的網址那種方法了。看過永恆君視頻的朋友應該有印象,這裏需要使用到Element Click選擇器。(視頻傳送門在這裏:動態加載),使用這個選擇器就可以對網頁進行翻頁。

在這個選擇器之下呢,在配上Table選擇器,即可完成任務

配置運行

1、Element Click選擇器配置如下圖:

2、接下來配置Table選擇器就比較簡單了

整體的一個結構圖就是這樣:

爬取的結果如下:

爬取其他的行業信息

有了上面的這個模板,爬取其他行業的就輕鬆多了。

比如說多元金融的行業信息,只需要打開行業信息,複製網址,粘貼更換掉剛纔web scraper配置的起始頁即可。

爬取的結果如下:

如果要爬取股指期貨的行業信息,複製網址,粘貼更換掉剛纔web scraper配置的起始頁即可。

爬取的結果如下:

通過這樣的方法,無論你可以想抓熱點概念、熱門板塊,還是基金、期貨、外匯、債券,只要是網站提供有的數據,統統不在話下。

永恆君把整個sitemap文件準備好了,如果你感興趣的話,聯繫我即可。

之前還寫過這些實例:

不用代碼玩轉爬蟲實例(1) – 抓取貓眼電影信息

不用代碼玩轉爬蟲實例(2) – 抓取天眼查企業基本信息

不寫代碼玩轉爬蟲實例(3) – 抓取攜程酒店信息

歡迎交流!

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章