對於爬蟲遇到的JS渲染的問題的一些解決方法

對於爬蟲遇到的一些關於JS渲染的解決方法:

1.動用動態技術

          Selenium+PhantomJS或者其他的一些動態框架

2.Splash:

       我沒用過,所以不好評價

3.自己動用Google Chrome找尋請求,然後找出參數進行模擬.

   比較好練手的就是http://www.dm5.com

   推薦去看下這個.... 

 

動用動態技術的話效率就是你的瓶頸,雖然快速暴力,而且也省去了很多麻煩,但是我個人比較喜歡第3個方法,實在是找不出請求了就在說.

ok,往後繼續推出各種技術的文章,這次只是水一篇,因爲剛好搜索看到爬蟲抓取js渲染的文章,然後便試着去做了下....

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章