http://yjs.hebut.edu.cn/yjsgzb/xzzq/ 通過河北工業大學研究生院-學生工作-下載專區,測試如何使用FilesPipeline。
通過下載鏈接可以看出有些直接可以下載,而有些則要從點開的頁面中尋找。爲簡化學習過程,我們只保存後面4個。
(1)創建項目:
scrapy startproject filedownload
(2)使用genspider創建爬蟲文件:
scrapy genspider getfile hebut.edu.cn
(3)進入項目目錄,修改items.py文件:
import scrapy
class DownloadFileItem(scrapy.