爬蟲——需求：獲取豆瓣電影中動態加載出更多電影詳情數據

# 需求：獲取豆瓣電影中動態加載出更多電影詳情數據
# 思路：喜劇排行榜，ajax請求，20條，頁面滾動加載
# 
# 瀏覽器打開網址--模擬瀏覽器滾動--怎麼滾動頁面？執行js代碼。怎麼抓取？不用重新發請求
from selenium import webdriver as wd
from time import sleep

bro = wd.PhantomJS(executable_path='./phantomjs-2.1.1-windows/bin/phantomjs')
bro.get('https://movie.douban.com/typerank?type_name=%E5%96%9C%E5%89%A7&type=24&interval_id=100:90&action=')
# 瀏覽器滾動到底部
js='window.scrollTo(0,document.body.scrollHeight)'

# 如何讓瀏覽器對象執行js代碼
bro.execute_script(js)

sleep(5)
bro.save_screenshot('./5.png')

# 獲取加載數據後的頁面: page_source獲取瀏覽器當前數據
page_text = bro.page_source

# 解析數據