俗話說的好,“磨刀不誤砍柴工”。要想學好網絡爬蟲,一個良好的環境配置是離不開的。下面,我將介紹一下python的安裝以及後面將用到的各種庫的安裝
一.python的下載與安裝
python分爲2.x版本和3.x版本,基本上差不多,只是有一些差別,今後的文章中我都是用3.x版本,具體操作步驟如下:
1.下載地址:https://www.python.org/downloads/windows/
選擇一個適合你電腦的3.x版本的進行下載(由於技術有限,後面講述的都是基於window的)
2.安裝:打開安裝包進行安裝即可
3.編輯器選擇:python會自帶一個編譯器,當然你也可以自己用你喜歡的編譯器,在這裏,推薦幾個我認爲比較好的:pycharm, python(x,y),sublime
二.各種庫的安裝(具體詳見:http://blog.csdn.net/qq_38329811/article/details/76825419 和 http://blog.csdn.net/qq_38329811/article/details/76683481)
python自帶的標準庫只有三個,但要想讓其發揮更大的作用,安裝更多的庫是避免不了的,那麼問題來了,怎麼安裝呢?下面我將以scrapy庫的安裝爲例進行詳細的介紹:
1.下載whl格式包進行簡易下載:
下載地址:http://www.lfd.uci.edu/~gohlke/pythonlibs/
這種安裝方法需要依賴一些環境:pywin32、pyOpenSSL、Twisted、lxml 和 zope.interface------具體安裝方法另見我另一篇文章:
http://blog.csdn.net/qq_38329811/article/details/76825419
2.使用pip安裝
執行命令:pip install scrapy