《Python網絡爬蟲從入門到實踐》實現深圳租房信息抓取

爬取網站：https://zh.airbnb.com/s/Shenzhen--China?page=1

1.點擊下部顯示全部按鈕，將租房信息全部顯示

2.設置循環，一頁一頁獲取

3.查看網頁源碼，尋找標籤

__author__ = 'Administrator'
from selenium import webdriver
import time

driver = webdriver.Chrome(executable_path = r'D:\python3\chromedriver.exe')
#在虛擬瀏覽器中打開 Airbnb 頁面
driver.get("https://zh.airbnb.com/s/Shenzhen--China?page=1")
#time.sleep(1)
#找到頁面中所有的出租房
nextpage = driver.find_element_by_css_selector('#site-content > div > div > div:nth-child(4) > div > div > div > div:nth-child(2) > div > div._ttoj70 > a').click()

time.sleep(2)
for i in range(0,5):
    rent_list = driver.find_elements_by_css_selector('div._8ssblpx')

    for eachhouse in rent_list:
        #print(eachhouse)
        price = eachhouse.find_element_by_css_selector('div._qg0ydb')
        price = price.text[4:].replace('\n','')

        #找到名稱
        name = eachhouse.find_element_by_css_selector('div._qhtkbey')
        name = name.text

        #找到房屋類型，大小
        details = eachhouse.find_elements_by_css_selector('span._fk7kh10')
        #print(details[0].text)
        details = details[0].text
        house_type = details.split(" · ")[0]
        bed_number = details.split(" · ")[1]
        print (price, name, house_type, bed_number)
    nextpage1=driver.find_elements_by_css_selector('div._1m76pmy')
    time.sleep(2)

38每晚 【十二微邸】14J-KKmall樓上的城市微魔方 整套公寓 1室1.5衛1牀
45每晚 [Misa’s house] ‘想‘老街地鐵口/kkmall萬象城羅湖口岸/ins風商務房/直達香港 整套公寓 1室1衛2牀
37每晚 【宮遇】17-KKmall樓上一房一廳--【Loft時代】 整套公寓 1室1衛1牀
50每晚 LADYMA |原宿 摩洛哥風格 福田CBD會展中心#家庭影院CocoPark福田皇崗口岸崗廈地鐵口 整套公寓 1室1衛1牀
41每晚 【GAO's Home】福田中心區設施齊備的品質溫馨小家（近市中心、會展中心、福田口岸） 整套公寓 1室1衛1牀
34每晚 [Studio Q-Cozy]KKmall樓上/大劇院站/京基100/Luohu/深圳羅湖 整套公寓 單間1衛1牀
22每晚 深圳北站 大牀房 直達香港口岸/出差首選 1.8米超大牀房 溫馨舒適北歐風公寓 獨立房間 1室2衛1牀
38每晚 【十二微邸】32Q-KKmall樓上的天空微城堡 整套公寓 1室1衛1牀
61每晚 燈塔·時光 Clean warm and cozy place 整套公寓 1室1.5衛1牀
67每晚 【沿線】大梅沙180°海景工業風大牀房,海灘旁,近東部華僑城 整套公寓 1室1衛1牀
41每晚 【貓薄荷】近羅湖/福田口岸|美食街道|loft公寓|巨幕投影|泡泡吊椅 整間LOFT 1室1衛1牀
26每晚 暖空調 馬賽克浴缸 溜達家英式 一房裏的精緻生活 整租 3號線地鐵口 龍崗中心城大運中心萬