Scrapy 抓取數據及相關軟件(Ubuntu)

1. python-webkit 在scrapy抓取數據時執行js代碼

sudo apt-get install python-webkit

還有一些相關的包需要安裝

https://wiki.python.org/moin/PythonWebKit

http://www.gnu.org/software/pythonwebkit/

libwebkitgtk最新的是3.0

sudo apt-get install libwebkitgtk-3.0-0

2. 安裝 jswebkit   這個有可能會在上一步沒裝上, 需要自己重新裝一下

sudo apt-get install python-jswebkit

3. 安裝 pyjamas

sudo apt-get install pyjamas

https://wiki.python.org/moin/PyjamasDesktop

4. 安裝  PyWebkitDFB

sudo apt-get install libdirectfb-dev

http://www.gnu.org/software/pythonwebkit/

5. 安裝 libdirectfb-extras 這個包含一個X11的插件, 通過編輯~/.directfb 並且加入下面兩行

system=x11
force-windowed

軟件包如下:

libdirectfb-1.2-9-dbg 

libdirectfb-extra-dbg

6. 安裝ibcurl4

sudo apt-get install libcurl4-gnutls-dev

7. Xvfb 適用非Xwindows環境時

sudo apt-get install xvfb

8. beautifulsoup  python html/xml parser

sudo apt-get install python-bs4