最近發現該網站的code值生成方式是改了又改(一週一改?簡直是爬蟲勸退),難道是因爲網絡上的爬蟲請求量增大了還是怎麼回事!!
本文只提供學術研究。
肉文來了:
此處針對詳情頁來研究,
通過debug可已找生成code的js函數 abcdefg, 其參數dynamicScrip(dynamicScript = "KP1XdhhXPrLWzxAhwj...........)可以在請求中找到(如下圖),參數type則爲字符串"detail",
另外如果在發起該請求時必須攜帶cookie(不然一會請求的時候會給假數據,去年還沒有這個操作,只是會在此請求中寫入一些cookie),不然會給假數據,至於cookie初始哪裏來,可以清掉所有cookie刷新下頁面來看一下,通過抓包可以發現,如下圖,
這篇文章就說到這裏,因爲要是把解析也寫進來,還需要再貼上幾張圖,那樣文章會比較長,看起來不舒服,寫起來更不舒服,具體解析可以看下篇。