scrapy使用ImagePipeline或FilesPipeline保存文件

三個步驟:
1.設置Items字段, file_urls、image_urls即是下載文件的URL,注意的是需要以列表的形式傳遞值

2.設置儲存路徑,開啓Pipeline
在這裏插入圖片描述
3.寫爬蟲文件,注意要從items文件導入item
在這裏插入圖片描述
如果有些下載鏈接並沒有文件名,可以用繼承pipeline的方式修改文件名,settings開啓pipeline就只需要開啓這個繼承的pipelin即可
在這裏插入圖片描述

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章