爬蟲的重要思想

1.理論上講只要網頁上面能夠看到的數據都是可以爬取的，因爲所有看到的網頁上的數據都是服務器發送到我們電腦上面的，只是有的數據加密過，很難解密。

2.在網頁上無法看到或者無法獲取的數據，爬蟲同樣不可能拿到，比如一些付費資料。

3.分析頁面數據的原則是從簡到繁，從易到難

1）直接通過網頁源代碼獲取

2）分析是否爲ajax異步加載

3）數據是否被加密