用python通過原生方式寫過幾次爬蟲項目，代碼冗長不易維護；Scrapy是Python語音編寫的一個通用性爬蟲框架，能夠非常方便的通過幾行代碼來爬取網站數據，提取結構性數據。當然經過發展Scrapy也應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。我想通過對Scrapy的學習來對之前的爬蟲項目進行一次重構，來感受一下Scrapy有多麼方便。首先來安裝一下Scrapy框架。
我的本機環境是mac，咱們直接通過pip install Scrapy 命令來安裝。
當然不可能這麼簡單就安裝成功了，報錯提示爲pip版本過低。接下來咱們升級一下pip版本：python -m pip install --upgrade pip
呵呵噠又報錯，看提示這次是權限問題
Could not install packages due to anEnvironmentError: [Errno 13] Permission denied: xxx
按照提示增加–user 命令: python -m pip install --user --upgrade pip
pip安裝升級成功了哇哈哈🤩，但是別高興地太早。查看一下pip版本 pip -V
what the ** 怎麼還是10.0.1版本…
嘗試卸載掉舊版本pip，然後重新安裝。 pip python -m pip uninstall pip 仍然報錯。。
看提示仍然是權限問題，增加sodo後執行成功sudo pip python -m pip uninstall pip
然後重新安裝pip: sudo easy_install pip
安裝成功，查看版本 pip 18.1 yes！
好了現在繼續安裝scarpy：pip install Scrapy 又報錯
執行命令升級一下six 模塊：
sudo pip install six --upgrade --ignore-installed six
然後繼續執行 pip install --user Scrapy 安裝Scrapy
終於他喵的按照成功了。。。
但是執行scrapy命令：
-bash: scrapy: command not found
複製一下軟連接到 /usr/local/bin/scrapy
ln -s /Users/songxiao/Library/Python/2.7/bin/scrapy /usr/local/bin/scrapy
scrapy安裝目錄是從安裝日誌裏找的，你可以往上翻一下。
到此安裝Scrapy的踩坑之旅結束了…