用python的selenium模塊自動爬取周董歌曲評論

大家好，我是天空之城，今天給大家帶來用python的selenium模塊自動爬取周董歌曲評論，最大程度避免被反爬。需要大家自己安裝selenium模塊以及安裝webdriver驅動放到pychram文件夾裏面。

from selenium import webdriver
import time
driver=webdriver.Chrome()

driver.get('https://y.qq.com/n/yqq/song/000xdZuV2LcQ19.html') # 訪問頁面
time.sleep(2)

button=driver.find_element_by_class_name('js_get_more_hot')
button.click()
time.sleep(2)

comments = driver.find_element_by_class_name('js_hot_list').find_elements_by_class_name('js_cmt_li') # 使用class_name找到評論
#精彩評論
print(len(comments)) # 打印獲取到的評論個數
for comment in comments: # 循環
    sweet = comment.find_element_by_tag_name('p') # 找到評論
    date= comment.find_element_by_tag_name('span')
    author = comment.find_element_by_tag_name('h4')
    print('評論：%s\n 時間：%s\n 作者：%s\n' % (sweet.text,date.text,author.text))  # 打印評論

再複習下登陸豆瓣

這裏需要先切換進入iframe模塊，再定位相應的登陸操作

from selenium import webdriver
import time

driver = webdriver.Chrome()
# 打開豆瓣
driver.get('https://www.douban.com/')

# 切換iframe
login_frame = driver.find_element_by_xpath('//div[@class="login"]/iframe')

driver.switch_to_frame(login_frame)

time.sleep(2)

# 切換登錄方式
driver.find_element_by_xpath('//li[@class="account-tab-account"]').click()
# 選中checkbox選項
driver.find_element_by_id('account-form-remember').click()


# 輸入賬號密碼
driver.find_element_by_id('username').send_keys('xxxxxx')

driver.find_element_by_id('password').send_keys('xxxxxxx')

# 點擊登錄按鈕

driver.find_element_by_class_name('btn-account').click()