最近研究爬蟲接觸到了pyspider於是在mac中一頓操作結果發現並沒有那麼順利。安裝的時候提示說pycurl安裝有問題,什麼鬼?
安裝pyspider:
pip install pyspider
報錯:
大致內容:
Curl配置爲使用SSL,但我們無法確定它正在使用哪個SSL後端。有關如何手動指定SSL後端的信息,請參閱PycURL文檔。
解決辦法:
# 查看安裝openssl的配置信息
brew info openssl
畫線部分是配置環境變量,需要運行:
export LDFLAGS=-L/usr/local/opt/openssl/lib
export CPPFLAGS=-I/usr/local/opt/openssl/include
export PYCURL_SSL_LIBRARY=openssl
搞定啦:
pip install pyspider
後來發現,如果沒有設置環境變量,pip安裝scrapy也會出現這樣的問題,使用相同方法解決。