17、Python快速開發分佈式搜索引擎Scrapy精講—深度優先與廣度優先原理

百度雲搜索,搜各種資料:http://www.bdyss.cn

搜網盤,搜各種資料:http://www.swpan.cn

image

網站樹形結構

image

深度優先

是從左到右深度進行爬取的,以深度爲準則從左到右的執行(遞歸方式實現)Scrapy默認是深度優先的

image

image

廣度優先

是以層級來執行的,(列隊方式實現)

image

image

【轉載自:http://www.lqkweb.com

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章