這是上一篇文章的優化版本，相較於一條一條的執行sql語句，本文中，將excel中所有的數據先寫到list列表中
在通過函數
cursor.executemany(sql, list）
一次性寫入到數據庫中
import pymysql
import xlrd
'''
連接數據庫
args：db_name（數據庫名稱）
returns:db
'''
def mysql_link(de_name):
try:
db = pymysql.connect(host="127.0.0.1", user="root",
passwd="XXX",
db=de_name,
charset='utf8')
return db
except:
print("could not connect to mysql server")
'''
讀取excel函數
args：excel_file（excel文件，目錄在py文件同目錄）
returns：book
'''
def open_excel(excel_file):
try:
book = xlrd.open_workbook(excel_file) #文件名，把文件與py文件放在同一目錄下
return book
except:
print("open excel file failed!")
'''
執行插入操作
args:db_name（數據庫名稱）
table_name(表名稱）
excel_file（excel文件名，把文件與py文件放在同一目錄下）
'''
def store_to(db_name,table_name,excel_file):
db = mysql_link(db_name) # 打開數據庫連接
cursor = db.cursor() # 使用 cursor() 方法創建一個遊標對象 cursor
book = open_excel(excel_file) # 打開excel文件
sheets = book.sheet_names() # 獲取所有sheet表名
for sheet in sheets:
sh = book.sheet_by_name(sheet) # 打開每一張表
row_num = sh.nrows
print(row_num)
list = [] # 定義列表用來存放數據
for i in range(1, row_num): # 第一行是標題名，對應表中的字段名所以應該從第二行開始，計算機以0開始計數，所以值是1
row_data = sh.row_values(i) # 按行獲取excel的值
value = (row_data[0], row_data[1],row_data[2],row_data[3],row_data[4],row_data[5],\
row_data[6],row_data[7],row_data[8],row_data[9],row_data[10],row_data[11],row_data[12],row_data[13],row_data[14])
list.append(value) # 將數據暫存在列表
# print(i)
sql = "INSERT INTO "+ table_name + " ( bj_shijian,bjr_xingbie,anfa_didian,\
zb_x,zb_y,bj_chongfu,jiejing_lb_name,baojing_lb_name,baojing_lx_name,baojing_lx_xl_name,\
guanxia_qy_name,guanxian_dw_name,anfa_qulu,anfa_xiaoqu,chujing_dw_name)VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
cursor.executemany(sql, list) # 執行sql語句
db.commit() # 提交
list.clear() # 清空list
print("worksheets: " + sheet + " has been inserted " + str(row_num) + " datas!")
cursor.close() # 關閉連接
db.close()
if __name__ == '__main__':
store_to('demo','demo_yangben','qh.xlsx')
可以選擇傳入的數據庫，及數據庫表名，excel文件名（excel文件和py文件同目錄，否則加上路徑）
每一萬條寫入一次
import pymysql
import xlrd
import sys
'''
連接數據庫
args：db_name（數據庫名稱）
returns:db
'''
def mysql_link(de_name):
try:
db = pymysql.connect(host="127.0.0.1", user="root",
passwd="a12345",
db=de_name,
charset='utf8')
return db
except:
print("could not connect to mysql server")
'''
讀取excel函數
args：excel_file（excel文件，目錄在py文件同目錄）
returns：book
'''
def open_excel(excel_file):
try:
book = xlrd.open_workbook(excel_file) # 文件名，把文件與py文件放在同一目錄下
print(sys.getsizeof(book))
return book
except:
print("open excel file failed!")
'''
執行插入操作
args:db_name（數據庫名稱）
table_name(表名稱）
excel_file（excel文件名，把文件與py文件放在同一目錄下）
'''
def store_to(db_name, table_name, excel_file):
db = mysql_link(db_name) # 打開數據庫連接
cursor = db.cursor() # 使用 cursor() 方法創建一個遊標對象 cursor
book = open_excel(excel_file) # 打開excel文件
sheets = book.sheet_names() # 獲取所有sheet表名
for sheet in sheets:
sh = book.sheet_by_name(sheet) # 打開每一張表
row_num = sh.nrows
print(row_num)
list = [] # 定義列表用來存放數據
num = 0 # 用來控制每次插入的數量
for i in range(1, row_num): # 第一行是標題名，對應表中的字段名所以應該從第二行開始，計算機以0開始計數，所以值是1
row_data = sh.row_values(i) # 按行獲取excel的值
value = (row_data[0], row_data[1], row_data[2], row_data[3], row_data[4], row_data[5], \
row_data[6], row_data[7], row_data[8], row_data[9], row_data[10], row_data[11], row_data[12],
row_data[13], row_data[14])
list.append(value) # 將數據暫存在列表
num += 1
if( num>= 10000 ): # 每一萬條數據執行一次插入
print(sys.getsizeof(list))
sql = "INSERT INTO " + table_name + " (time, xingbie, afdd, xzb, yzb, cfbj, jjlbmc, \
bjlbmc, bjlxmc, bjlxxlmc, gxqymc,gxdwmc, afql, afxqxx, cjdwmc)\
VALUES(%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)"
cursor.executemany(sql, list) # 執行sql語句
num = 0 # 計數歸零
list.clear() # 清空list
print("worksheets: " + sheet + " has been inserted 10000 datas!")
print("worksheets: " + sheet + " has been inserted " + str(row_num) + " datas!")
db.commit() # 提交
cursor.close() # 關閉連接
db.close()
if __name__ == '__main__':
store_to('demo', 'demo_yangben', 'qh.xlsx')
sys.getsizeof（）方法監測內存佔用
原文鏈接：https://blog.csdn.net/myli_binbin/article/details/84402238