前嗅大數據—ForeSpider教你如何採集【列表數據】

以採集起點中文小說網中(https://www.qidian.com/)的數據列表的數據爲例:

一.網站結構

1.網站截圖說明

採集起點中文網中的最近更新數據列表中的數據,如下圖所示:

 

【列表數據頁面】

2.採集結果截圖

 

【採集出來的列表數據】

二.配置模板

  1. 新建任務

點擊下一步,由於僅需要採集本頁面表格數據,所以勾選【抽選數據】。

2.創建/選擇表單

表單創建後可以重複選擇使用,如果已有建好的表單,選擇對應數據表單即可。如果沒有,點擊創建表單。

【創建表單】

3.配置表單

根據所需內容,配置表單字段,此處配置了id(主鍵)、fenlei(小說類別)、shuming(小說名稱)、zuixin(最新章節)、zuozhe(作者)、shijian(更新時間)等字段。

注意:採集表格/列表數據時,id(主鍵)設置的時候,選擇自增主鍵。=>(字段各屬性介紹)

方式一:快速建表。(點擊【創建表單】出現彈窗。)

【配置表單】

方式二:自由建表。(在【數據建表】界面。)

【配置表單】

4.識別列表

選中表單後,chrl+點擊表頭第一個表格,後shift+點擊其他表頭擴大選取,直至所有表頭均被選中,最後點擊識別列表。

 

【識別列表】

 

【列表識別成功】

5.字段取值

①fenlei:通過字段定位取值,按ctrl+單擊標題,確認選取。

②shuming:通過字段定位取值,按ctrl+單擊標題,確認選取。

 

③其他字段按照同樣的方法進行字段取值。

6.關聯數據表

先創建一個數據表,如下圖所示

再關聯表單,勾選數據表。

7.模板預覽

點擊採集預覽,進行預覽。

【採集預覽】

三.數據採集

  1. 運行設置

運行設置處可以設置採集速度、採集策略、任務裝載等。

【運行設置】

2.選擇採集任務

在【任務列表】中勾選需要採集的任務,可勾選多個任務,同時採集。

【選擇採集任務】

3.開始採集

點擊【開始採集】,系統開始進行採集。剩餘任務數爲0時,系統自動停止採集。用戶也可以自己暫停任務或停止任務(停止任務會釋放任務,再次啓動時重新裝載任務)。

【開始採集】

4.數據瀏覽

採集一段時間以後,點擊【數據瀏覽】,在數據列表中選中對應的數據表,即可瀏覽採集到的數據,點擊【刷新】按鈕可以同步顯示數據。

【數據瀏覽】

5.導出數據

點擊【導出】按鈕,選擇導出文件格式後保存。

【導出數據】

 

 

 

發佈了152 篇原創文章 · 獲贊 42 · 訪問量 15萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章