java抓取東方財富股票數據(附源碼)

​### 背景

前段時間給朋友寫了一個自動抓取同花順股票數據的程序,不少人覺得不錯。

這幾天後臺有粉絲給我留言讓我也抓一下東方財富的數據,說東方財富的數據特別難抓,我還真不一定能搞得定。

本來我是一個德藝雙磬且與世無爭的佛系程序員,小小的激將法怎麼會激到我,但在京隔離期間實在太閒,就看了下東方財富的網站。真是不看不知道,一看嚇一跳,這網站做的我口吐芬芳。

抓取思路

我們先看下這個網站的資金流向排行榜,裏面有各大股市的股票資金數據

東方財富的資金流向圖表

炒股(韭菜)的都知道,如果一個股票的淨流入大單很多,那說明股票漲,流入越大,漲的越多。所以關注一隻股票的資金流向很重要,而東方財富專門有個資金流向的板塊給我們提供數據。於是抓取這個頁面的資金流向數據就很關鍵,根據頁面源碼和抓包分析,進入這個網站時,會分配一個token。而表格中的數據是異步加載的,獲取數據的請求中會帶着這個token,所以我們第一步要搞定這個token。根據頁面中的表格我們可以看到這個頁面的數據進行了分頁,每頁50個,所以在抓取時需要根據分頁循環抓取數據,直至尾頁。

總結步驟:

  • 獲取token

  • 分頁抓取

  • 清洗數據

  • 數據入庫

數據入庫

給大家看看我最近爬下來的數據:

入庫數據

抓取的代碼我直接寫成了一個定時任務DFCFFundFlowCrawlerJob.java,大家可以直接複製到任何springboot工程中,直接運行就行,太長了,這裏就不展示了,直接放代碼:

github地址:https://github.com/chinashuai/crawler-stock-data-all

關注公衆號:java之旅

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章