作业:
- 了解ajax加载
- 通过chrome的开发者工具,监控网络请求,并分析
- 用selenium完成爬虫
- 具体流程如下: 用selenium爬取https://news.qq.com/ 的热点精选
疑问:
- 怎么判断一个url请求获取的数据是通过ajax获取的,怎么知道这个真实的url?
- ajax获取的数据获取有什么窍门吗?
- Beautiful Soup, etree, xpath 怎么更灵活的混用?
代码:(没有达到要求)
def get_page_source():
# driver = webdriver.Chrome(".chromedriver.exe")
driver = webdriver.Chrome()
driver.get("https://news.qq.com/")
time.sleep(2)
page_source = driver.page_source
soup = BeautifulSoup(page_source)
# print(soup.prettify())
ele_list = soup.select('.detail > h3 > a')
# print(ele_list)
for ele in ele_list:
print(type(str(ele)), str(ele))
# print(etree.HTML(str(ele)).xpath('text()'))
get_page_source()