以採集起點中文小說網中(https://www.qidian.com/)的數據列表的數據爲例:
一.網站結構
1.網站截圖說明
採集起點中文網中的最近更新數據列表中的數據,如下圖所示:
【列表數據頁面】
2.採集結果截圖
【採集出來的列表數據】
二.配置模板
- 新建任務
點擊下一步,由於僅需要採集本頁面表格數據,所以勾選【抽選數據】。
2.創建/選擇表單
表單創建後可以重複選擇使用,如果已有建好的表單,選擇對應數據表單即可。如果沒有,點擊創建表單。
【創建表單】
3.配置表單
根據所需內容,配置表單字段,此處配置了id(主鍵)、fenlei(小說類別)、shuming(小說名稱)、zuixin(最新章節)、zuozhe(作者)、shijian(更新時間)等字段。
注意:採集表格/列表數據時,id(主鍵)設置的時候,選擇自增主鍵。=>(字段各屬性介紹)
方式一:快速建表。(點擊【創建表單】出現彈窗。)
【配置表單】
方式二:自由建表。(在【數據建表】界面。)
【配置表單】
4.識別列表
選中表單後,chrl+點擊表頭第一個表格,後shift+點擊其他表頭擴大選取,直至所有表頭均被選中,最後點擊識別列表。
【識別列表】
【列表識別成功】
5.字段取值
①fenlei:通過字段定位取值,按ctrl+單擊標題,確認選取。
②shuming:通過字段定位取值,按ctrl+單擊標題,確認選取。
③其他字段按照同樣的方法進行字段取值。
6.關聯數據表
先創建一個數據表,如下圖所示
再關聯表單,勾選數據表。
7.模板預覽
點擊採集預覽,進行預覽。
【採集預覽】
三.數據採集
- 運行設置
運行設置處可以設置採集速度、採集策略、任務裝載等。
【運行設置】
2.選擇採集任務
在【任務列表】中勾選需要採集的任務,可勾選多個任務,同時採集。
【選擇採集任務】
3.開始採集
點擊【開始採集】,系統開始進行採集。剩餘任務數爲0時,系統自動停止採集。用戶也可以自己暫停任務或停止任務(停止任務會釋放任務,再次啓動時重新裝載任務)。
【開始採集】
4.數據瀏覽
採集一段時間以後,點擊【數據瀏覽】,在數據列表中選中對應的數據表,即可瀏覽採集到的數據,點擊【刷新】按鈕可以同步顯示數據。
【數據瀏覽】
5.導出數據
點擊【導出】按鈕,選擇導出文件格式後保存。
【導出數據】