第一次寫博客,有點小興奮,就獻給自己的第一個簡單的R語言爬蟲程序吧!
包介紹
-
xml2:爲了加載rvest作鋪墊
-
rvest:爬蟲
幾個相關函數:read_html()讀取網頁信息 、html_nodes()獲取網頁標籤內容、html_text()提取文本內容 -
magrittr:管道操作工具包
相關知識:%>%將左件傳遞給右件直接處理
其他:%T>% ,%$% 和 %<>%
程序:
>library(xml2)
>library(rvest)
>library(magrittr)
程序過程
因爲五一馬上就要到了,本人也要到廈門去浪~所以想要查看酒店的信息,挑選經濟實惠的酒店!
這裏選擇的網址是:https://hotel.meituan.com/xiamen/
然後就上程序了:
#讀取網頁內容
>Link <- "http://hotel.meituan.com/xiamen/"
>Read_Link <- read_html(Link)
#分別獲得酒店的名字、價格和評分
>Hotel_Name <- Read_Link%>%html_nodes('div.info-wrapper h3 a')%>%html_text()
>Hotel-Price <- Read_Link%>%html_nodes('div.poi-price em')%>%html_text()
>Hotel_Score <- Read_Link%>%html_nodes('div.poi-grade')%>%html_text()
#將信息處理成數據框
>Hotel_info <- data.frame(Hotel_Name,Hotel_Price,Hotel_Score)
最終得到的數據基本上是這樣:
所以我的第一個R爬蟲有了一個初步的樣子!
當然,這只是一個簡單的爬蟲,還有很多的地方需要完善:\n的處理、爬取滿足自己要求的信息、爬取更多的酒店信息……
不過,總算有個開始了,以後也會繼續在在博客上記錄自己的R語言學習過程!