网络爬虫-爬取有效机构查询网(CNAS)全量数据

目标网站-->有效机构查询网需求如下:咋一看不太难全是静态html且数据也都是规则的这时候xpath工程师的作用就体现了!于是乎先开始抓接口查询接口这里出现了个验证码而且是会后端验证的(有那种只是前端验证不给后端验证的忽悠人的验证码)还好是普通的数英验证码直接调用我以前的接口就行headers={"User-A...
目标网站 --> 有效机构查询网 需求如下: 咋一看 不太难 全是静态html 且数据也都是规则的 这时候xpath工程师的作用就体现了! 于是乎先开始抓接口 查询接口 这里出现了个验证码 而且是会后端验证的(有那种只是前端验证不给后端验证的忽悠人的验证码) 还好是普通的数英验证码 直接调用我以前的接口就行 headers = { "User-A
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章