在python爬蟲中：使用requests + selenium就可以解決將近90%的爬蟲需求，那麼scrapy就是解決剩下10%的嗎？
這個顯然不是這樣的，scrapy框架是爲了讓我們的爬蟲更強大、更高效的存在，所以我們有必要好好了解一下scrapy框架。
scrapy是一個爲了爬取網站數據，提取結構性數據而編寫的應用框架
框架：用戶只需要定製開發幾個模塊就可以輕鬆實現一個爬蟲，用來抓取網頁內容以及各種圖片
可以應用在很多場景下：
數據挖掘、信息處理、存儲歷史數據等一系列的程序中，scrapy使用twisted這個異步網絡庫來處理網絡通訊，結構清晰，並且包含了各種中間件接口，可以靈活的完成各種需求