SQLite使用事務大幅提高批量數據寫入數據庫的速度

工具

• 讀取Excel：NPOI

結果

先直接放出對比吧，數據量，3500多條。

不使用事務	使用事務
18655ms	55ms

問題

在目前的項目中，經常需要把外部的數據導入導出到數據庫中。但是外部數據導入到數據庫中，耗費的時間太長，讓人用着特別不爽。測試的數據量爲3500條，整個導入到數據庫耗時18955ms，差不多就是19秒了，而且數據量並不算大。

後來，經過分析，發現在整個導入數據的過程中，絕大部分的耗時都用在了數據插入到數據的過程中。整個過程一共耗時18955ms，而讀取Excel的耗時只有300ms，那麼，問題基本就發現了，就是數據導入到數據庫的過程中太慢了。

原因

經過我在網上搜索，發現出問題的原因就是：讀入一條數據然後就往數據庫裏面插入一條數據。數據庫方面的開銷太大了。最好在網上找到了辦法，使用事物10000條數據在插入一次，10000條插入是爲了防止導入數據量過大，爆內存。

結果

改用事務之後，整個過程耗時只有355ms了，其中讀取excel耗時300ms左右，也就是說，插入數據庫的過程從18600ms降到了55ms，耗時是沒有改用事務之前的的千分之三。其實，可以發現，比較耗時的過程又發生在了讀取Excel的過程中了。
SQLite Helper (C#)

private void btCommit_Click(object sender, EventArgs e)
{
    using (SQLiteConnection conn = new SQLiteConnection(config.DataSource))
    {
        using (SQLiteCommand cmd = new SQLiteCommand())
        {
            conn.Open();
            cmd.Connection = conn;

            SQLiteHelper sh = new SQLiteHelper(cmd);

            int count = sh.ExecuteScalar<int>("select count(*) from product;") + 1;

            sh.BeginTransaction();

            for (int i = 0; i < 5; i++)
            {
                var dic = new Dictionary<string, object>();
                dic["name"] = "Product " + (count + i);
                dic["description"] = "Some description";
                dic["status"] = "Active";

                sh.Insert("product", dic);
            }

            sh.Commit();

            LoadData(sh);

            conn.Close();
        }
    }
}

不知道是否還可以繼續優化

除了插入，其實也可以使用事務進行更新。