python爬取nab球員數據

import requests
from bs4 import BeautifulSoup
import  pymysql

def insertdata_myql(sql):
    # 打開數據庫連接(具體配置信息請自行替換)

    # print('執行到這裏00')
    db = pymysql.Connect(
        host='localhost',
        port=3306,
        user='root',
        password='118169',
        db='test',
        charset='utf8')
    # 創建一個遊標對象
    # print ('執行到這裏0')
    cursor = db.cursor()
    # print ('mysql連接成功')
    # 執行 SQL 建表語句
    cursor.execute(sql)
    # print('執行到這裏1')
    db.commit()
response = requests.get(url="http://www.stat-nba.com/award/item0.html")
page = response.text.encode("latin1").decode("utf-8")
# print (page)
soup = BeautifulSoup(page, 'html.parser')
# # ul = soup.find('meta', 'charset')#對應標籤的內容
# ul = soup.find('link')#對應標籤的內容
# print(soup.find_all('link'))
# print(ul)
list1=[]
for i in soup.find_all('tr'):
    # print(i)
    # print(i.get_text())
    list1.append(i.get_text())
for list in list1:
    tupleinsertsql=tuple((list.split('\n')[1:25]))
    sql="insert into  mysql.nbaplayer values {0}".format(tupleinsertsql)
    print((sql))
    insertdata_myql(sql)

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章