第一次写博客,有点小兴奋,就献给自己的第一个简单的R语言爬虫程序吧!
包介绍
-
xml2:为了加载rvest作铺垫
-
rvest:爬虫
几个相关函数:read_html()读取网页信息 、html_nodes()获取网页标签内容、html_text()提取文本内容 -
magrittr:管道操作工具包
相关知识:%>%将左件传递给右件直接处理
其他:%T>% ,%$% 和 %<>%
程序:
>library(xml2)
>library(rvest)
>library(magrittr)
程序过程
因为五一马上就要到了,本人也要到厦门去浪~所以想要查看酒店的信息,挑选经济实惠的酒店!
这里选择的网址是:https://hotel.meituan.com/xiamen/
然后就上程序了:
#读取网页内容
>Link <- "http://hotel.meituan.com/xiamen/"
>Read_Link <- read_html(Link)
#分别获得酒店的名字、价格和评分
>Hotel_Name <- Read_Link%>%html_nodes('div.info-wrapper h3 a')%>%html_text()
>Hotel-Price <- Read_Link%>%html_nodes('div.poi-price em')%>%html_text()
>Hotel_Score <- Read_Link%>%html_nodes('div.poi-grade')%>%html_text()
#将信息处理成数据框
>Hotel_info <- data.frame(Hotel_Name,Hotel_Price,Hotel_Score)
最终得到的数据基本上是这样:
所以我的第一个R爬虫有了一个初步的样子!
当然,这只是一个简单的爬虫,还有很多的地方需要完善:\n的处理、爬取满足自己要求的信息、爬取更多的酒店信息……
不过,总算有个开始了,以后也会继续在在博客上记录自己的R语言学习过程!