scrapy入門

由於信息檢索課程需要進行搜索引擎的搭建，所以這裏就先開始爬取網絡內容的第一步。
一直苦於eclipse+pyDev對Scrapy的各種不支持，今天師兄給我介紹了一款神器：Jupyter.只要在你的項目下進入命令行輸入：jupyter notbook就可以對代碼進行編輯和運行啦，感興趣的小夥伴趕緊下手了。好了廢話不多說，進入正題吧。
（一）入門
選擇scrapy框架進行爬蟲主要是因爲本人自己剛剛接觸python，網上大家說python自帶的BeatifulSoup功能強大，但是爬取速度太慢,而scrapy採用的是異步加載機制，所以對於爬取大量數據佔有很大的優勢。