python中postgreSQL方法copy_from()、executemany()、to_sql()性能大比拼

1.查詢數據庫中數據表是否存在，不存在則創建

import psycopg2

conn = psycopg2.connect(host=***, port=***, database=***, user=***, password=***)
cur = conn.cursor()
try:
     cur.execute("select to_regclass(" + "\'" +  table_name + "\'" + ") is not null")
     rows = cur.fetchall()
except Exception as e:
     rows = []
     conn.close()
if rows:
     data = rows
     flag = data[0][0]
     print(flag)   

flag的值即爲查詢出來的表是否存在的狀態，存在則爲True，不存在則爲False
利用python在數據庫創建表的例子網上很多，在此就不進行贅述了。

1. executemany()方法批量輸入數據到數據庫
   data是需要插入的數據，爲list類型，3列，數據條數有70多萬條

import psycopg2
    
conn = psycopg2.connect(host=***, port=***, database=***, user=***, password=***)
cur = conn.cursor()
sql =  "insert into " + table_name + " values(%s, %s, %s)
cur.executemany(sql, data)
conn.commit()
conn.close()

該方法下，70多萬條數據插入到數據庫需要3.88分鐘

1. datafame的to_sql()插入數據到數據庫

from sqlalchemy import create_engine

result = pd.DataFrame(data)
engine = create_engine('postgresql://user:password@host:port/database')
pd.io.sql.to_sql(result, table_name, engine, index = False, if_exists='append')

• 1
• 2
• 3
• 4
• 5

該方法下，70多萬條數據插入到數據庫需要4.42分鐘

1. 強大的copy_from()，是postgresSQ的內置函數

import psycopg2
from sqlalchemy import create_engine
import pandas as pd
from io import StringIO

data1 = pd.DataFrame(data)
# dataframe類型轉換爲IO緩衝區中的str類型
output = StringIO()
data1.to_csv(output, sep='\t', index=False, header=False)
output1 = output.getvalue()
   
conn = psycopg2.connect(host=***, user=***, password=***, database=***)
cur = conn.cursor()
cur.copy_from(StringIO(output1), table_name1)
conn.commit()
cur.close()
conn.close()
print('done')

用copy_from()方法，70多萬條數據插入到數據庫僅僅需要0.06分鐘,相比於前兩種方法執行效率高太多啦
嘗試了多張數據表循環批量插入，之前用executemany()需要15個小時才能插入完成的數據，用copy_from()只需要90分鐘左右。相比來說已經很優秀了！

原文地址：https://blog.csdn.net/skye1208/article/details/90264431