前嗅ForeSpider腳本教程-鏈接抽取:自定義鏈接寫腳本

場景:當採集的鏈接不存在於任何位置,或者想要採集自定義的鏈接。

示例:天貓商品評論的鏈接。

商品評論的鏈接不在源碼中,只能自己拼接評論鏈接。點擊評論翻頁,觀察翻頁規律。

取其中某一鏈接地址在網頁中查看請求返回信息。刪除個別不一致的請求參數,觀察結果是否變化。可得到最簡鏈接地址。

https://rate.tmall.com/list_detail_rate.htm?itemId=566879444630&spuId=950725258&sellerId=134363478&order=3¤tPage=2&append=0&content=1&tagId=&posi=&picture=&groupId=&ua=&callback=

腳本實例:

for(int i=0;i<10;i++){//取10頁評論
url u;
u.title = “第+i+”頁評論”;
u.urlname = “https://rate.tmall.com/list_detail_rate.htm?itemId=566879444630&spuId=950725258&sellerId=134363478&order=3¤tPage=”+i+”&append=0&content=1&tagId=&posi=&picture=&groupId=&ua=&callback=”;  //第i頁的評論鏈接地址
u.entryid = CHANN.id;
u.tmplid = 2;
RESULT.AddLink(u);
}

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章