SQLite批量插入優化方法

SQLite批量插入優化方法

SQLite的數據庫本質上來講就是一個磁盤上的文件，所以一切的數據庫操作其實都會轉化爲對文件的操作，而頻繁的文件操作將會是一個很好時的過程，會極大地影響數據庫存取的速度。

例如：向數據庫中插入100萬條數據，在默認的情況下如果僅僅是執行
sqlite3_exec(db, “insert into name values ‘lxkxf', ‘24'; ”, 0, 0, &zErrMsg);
將會重複的打開關閉數據庫文件100萬次，所以速度當然會很慢。因此對於這種情況我們應該使用“事務”。
具體方法如下：在執行SQL語句之前和SQL語句執行完畢之後加上
rc = sqlite3_exec(db, "BEGIN;", 0, 0, &zErrMsg);
//執行SQL語句
rc = sqlite3_exec(db, "COMMIT;", 0, 0, &zErrMsg);

這樣SQLite將把全部要執行的SQL語句先緩存在內存當中，然後等到COMMIT的時候一次性的寫入數據庫，這樣數據庫文件只被打開關閉了一次，效率自然大大的提高。有一組數據對比：

測試1: 1000 INSERTs
CREATE TABLE t1(a INTEGER, b INTEGER, c VARCHAR(100));
INSERT INTO t1 VALUES(1,13153,'thirteen thousand one hundred fifty three');
INSERT INTO t1 VALUES(2,75560,'seventy five thousand five hundred sixty');
... 995 lines omitted
INSERT INTO t1 VALUES(998,66289,'sixty six thousand two hundred eighty nine');
INSERT INTO t1 VALUES(999,24322,'twenty four thousand three hundred twenty two');
INSERT INTO t1 VALUES(1000,94142,'ninety four thousand one hundred forty two');
SQLite 2.7.6:
13.061
SQLite 2.7.6 (nosync):
0.223

測試2: 使用事務 25000 INSERTs
BEGIN;
CREATE TABLE t2(a INTEGER, b INTEGER, c VARCHAR(100));
INSERT INTO t2 VALUES(1,59672,'fifty nine thousand six hundred seventy two');
... 24997 lines omitted
INSERT INTO t2 VALUES(24999,89569,'eighty nine thousand five hundred sixty nine');
INSERT INTO t2 VALUES(25000,94666,'ninety four thousand six hundred sixty six');
COMMIT;
SQLite 2.7.6:
0.914
SQLite 2.7.6 (nosync):
0.757

可見使用了事務之後卻是極大的提高了數據庫的效率。但是我們也要注意，使用事務也是有一定的開銷的，所以對於數據量很小的操作可以不必使用，以免造成而外的消耗。