title: 使用go chromedp爬虫
tags: go，chromedp
author: Clown95
背景
最近小伙伴通过某些手段获取到了别人网站上的会员信息，所以他想让我把会员账号爬取下来。
其实网站的内容很简单，但是难就难在不知道怎能控制翻页，它既不是通过url参数进行翻页，也不是通过ajax参数翻页。最终我选择chromedp这个库模拟浏览器操作，进行数据爬取。
其实这个页面的爬取方式我之前已经写过一篇文章，但是进行代码复用的时候，发现chromedp库更新了原来的代码已经不兼容了，因此重新写一篇记录下以防以后还需使用。
原来的文章 ： go使用chromedp爬虫
因为这篇文章和之前文章，爬取的内容都是一样，所以我不在详细的说明。
具体实现
设置Cookie
首先我需要使用chromedp设置浏览器Cookie来模拟登录状态
// 任务 主要用来设置cookie ，获取登录账号后的页面
func VisitWeb(url string, cookies ...string) chromedp.Tasks {
//创建一个chrome任务
return chromedp.Tasks{
//ActionFunc是一个适配器，允许使用普通函数作为操作。
chromedp.ActionFunc(func(ctx context.Context) error {
// 设置Cookie存活时间
expr := cdp.TimeSinceEpoch(time.Now().Add(180 * 24 * time.Hour))
// 添加Cookie到chrome
for i := 0; i < len(cookies); i += 2 {
//SetCookie使用给定的cookie数据设置一个cookie； 如果存在，可能会覆盖等效的cookie。
success, err := network.SetCookie(cookies[i], cookies[i+1]).
// 设置cookie到期时间
WithExpires(&expr).
// 设置cookie作用的站点
WithDomain("dl.xzg01.com:83"). //访问网站主体
// 设置httponly,防止XSS攻击
WithHTTPOnly(true).
//Do根据提供的上下文执行Network.setCookie。
Do(ctx)
if err != nil {
return err
}
if !success {
return fmt.Errorf("could not set cookie %q to %q", cookies[i], cookies[i+1])
}
}
return nil
}),
// 跳转指定的url地址
chromedp.Navigate(url),
}
}
获取内容
设置好Cookie后,接下来就是获取网站内容，一般获取内容我们使用的是chromedp.Text,这样我们可以直接获取的文本内容。但是这个页面比较坑的地方是它的标签是<tbody></tbody>,我之前获取这个标签的内容怎么都获取不到，所以我折中一下获取<tbody>标签的Html内容。
翻页的实现，我是通过模拟点击 > 标签来实现的。
// 任务 主要执行翻页功能和或者html
func DoCrawler(res *string) chromedp.Tasks {
return chromedp.Tasks{
//下面注释掉的 Navigate 不要随便添加，如果添加上每次执行都相当于刷新，这样就永远翻不了页
//chromedp.Navigate("http://dl.xzg01.com:83/OpRoot/MemberScoreList.aspx?uid=0&op=0&uname=003008"),
chromedp.Sleep(1000), // 等待
chromedp.WaitVisible(`#form1`, chromedp.ByQuery), //等待id=from1页面可见 ByQuery是使用DOM选择器查找
chromedp.Sleep(2*time.Second),
// Click 是元素查询操作，它将鼠标单击事件发送到与选择器匹配的第一个元素节点。
chromedp.Click(`.pagination li:nth-last-child(4) a`, chromedp.ByQuery), //点击翻页
chromedp.OuterHTML(`tbody`, res, chromedp.ByQuery), //获取tbody标签的html
}
}
数据处理
现在我们已经获取到html的内容了，但是我们只需要会员账号，所以我们需要对数据进行处理。
因为tbody标签,goquery无法获取到它的内容，所以我们把tbody替换成table。
func ReplaceStr(text string) string {
return strings.Replace(text, "tbody", "table", -1)
}
可能有用户会使用手机来注册账号，所以我们使用一个函数验证账号是否是手机号码
func IsMobile(text string) bool {
match,_:=regexp.MatchString(`^((\+86)|(86))?(1(([35][0-9])|[8][0-9]|[7][01356789]|[4][579]|[6][2567]))\d{8}$`,text)
return match
}
我们还需要把数据保存成文本
func WirteText(savefile string,txt string) {
f, err := os.OpenFile(savefile, os.O_RDWR|os.O_CREATE|os.O_APPEND, 0777)
if err != nil {
fmt.Println("os Create error: ", err)
return
}
defer f.Close()
bw := bufio.NewWriter(f)
bw.WriteString(txt + "\n")
bw.Flush()
}
接下来我们就使用goquery来进行数据筛选
func GetAccount(text string) {
dom, err := goquery.NewDocumentFromReader(strings.NewReader(ReplaceStr(text)))
if err != nil {
log.Fatalln(err)
}
dom.Find("tr").Each(func(i int, selection *goquery.Selection) {
s:= selection.Find("td").Eq(6).Text()
fmt.Println(s)
WirteText("Acount.txt",s)
if IsMobile(s) {
WirteText("Mobile.txt",s)
}
})
}
执行
package main
import (
"chromedp/crawler"
"chromedp/filtrate"
"context"
"github.com/chromedp/chromedp"
"log"
)
func main() {
ctx, cancel := chromedp.NewContext(
context.Background(),
chromedp.WithLogf(log.Printf),
)
defer cancel()
//执行任务
url := "http://dl.xzg01.com:83/OpRoot/MemberScoreList.aspx?uid=0&op=0&uname=003008"
err:= chromedp.Run(ctx, crawler.VisitWeb(url,
"ASP.NET_SessionId", "zkamxkic4oiuwyc5obzgl2oj",
"__cfduid", "d04d769b567cbe9e6f24369423b440f0d1575981989",
"security_session_verify", "af027d69fbfbf4c925819043a50740b5",
))
if err != nil {
log.Fatal(err)
}
var res string
for i := 1; i < 27170; i++ {
//执行
err = chromedp.Run(ctx, crawler.DoCrawler(&res)) //执行爬虫任务
if err != nil {
log.Fatal(err)
}
filtrate.GetAccount(res)
}
}