Python爬取博客園數據---環境準備

1、安裝環境Python爬取需要的環境
直接使用Anaconda3的集成環境，然後安裝scrapy包。
打開遊覽器，搜索Anaconda3
點擊Anaconda3的官網進入下載
下載完之後安裝Anaconda3，一直next即可。
2、安裝Scrapy必要的包
百度搜索PIPY，進入下面界面搜索Twisted，下載對應版本Twisted-19.7.0-cp37-cp37m-win_amd32.whl（根據你的Python的版本選擇合適的包，名稱中間的cp37是python3.7的意思，amd32是python的位數）
下載完之後放入Anaconda3目錄下，打開Anaconda自帶的Anaconda Prompt (Anaconda3)，進入Anaconda3的文件名錄，使用命令pip install Twisted-19.7.0-cp37-cp37m-win_amd32.whl安裝即可。

進入PIPY官網搜索lxml下載lxml-4.4.1-cp37-cp37m-win32.whl(根據你的Python的版本選擇合適的包，名稱中間的cp37是python3.7的意思，win32是python的位數)，根據電腦位數下載對應位數的lxml，將下載的文件放在Anaconda3的下即可,進入Anaconda3的文件名錄，使用命令pip install lxml-4.4.1-cp37-cp37m-win32.whl安裝即可。
3、檢查需要的包是否安裝成功
進入Anaconda自帶的Anaconda Prompt (Anaconda3)查看是否安裝了lxml以及Twisted，出現下面圖片中的包即安裝成功。



4、安裝scrapy包
進入Anaconda自帶的Anaconda Prompt (Anaconda3)，輸入pip install scrapy,即可安裝成功。

到此python爬取博客園的數據需要環境準備完成。