sqlite3 批量insert的性能優化

 1、傳統方式導入,一萬條數據的導入(46s)

$sqlite_db = new PDO('sqlite:sqlitedata.db', 'gongz', 'gongz', []);
    $start = time();
    $n = 0;
    while ($n < 100000) {
        $n ++;
        $sql = "INSERT INTO `result_data` (`buguid`, `buname`, `簽約金額_萬`, `認購金額_萬`, `認購套數_萬`, `date`, `number1`, `number2`, `rp_buname_95938`, `rp_type_95938`, `rp_parentguid_95938`, `rp_levelcode_95938`) VALUES ('871709c2-083c-e511-80c0-00155d0a6f23', '名稱', '31', '547', '776', '2015-12-07 00:00:00', '123.7890', '456.5678', '名稱', '4', 'e64c7c15-7ac9-406c-9969-d41aeebf3a09', 'a.aa.001.01')";
        $sqlite_db->exec($sql);
    }
    echo time() - $start;

 2、傳統方式導入,關閉寫如磁盤的檢查,一萬條數據的導入(10s)

$sqlite_db = new PDO('sqlite:sqlitedata.db', 'gongz', 'gongz', []);
    $start = time();
    $n = 0;
    $sqlite_db->exec('PRAGMA synchronous = OFF;');
    while ($n < 10000) {
        $n ++;
        $sql = "INSERT INTO `result_data` (`buguid`, `buname`, `簽約金額_萬`, `認購金額_萬`, `認購套數_萬`, `date`, `number1`, `number2`, `rp_buname_95938`, `rp_type_95938`, `rp_parentguid_95938`, `rp_levelcode_95938`) VALUES ('871709c2-083c-e511-80c0-00155d0a6f23', '名稱', '31', '547', '776', '2015-12-07 00:00:00', '123.7890', '456.5678', '名稱', '4', 'e64c7c15-7ac9-406c-9969-d41aeebf3a09', 'a.aa.001.01')";
    $sqlite_db->exec($sql);
    }
    echo time() - $start;

 3、開啓事務,一萬條數據的導入(0s)

 $sqlite_db = new PDO('sqlite:sqlitedata.db', 'gongz', 'gongz', []);
    $start = time();
    $n = 0;
    $sqlite_db->beginTransaction();
    while ($n < 10000) {
        $n ++;
        $sql = "INSERT INTO `result_data` (`buguid`, `buname`, `簽約金額_萬`, `認購金額_萬`, `認購套數_萬`, `date`, `number1`, `number2`, `rp_buname_95938`, `rp_type_95938`, `rp_parentguid_95938`, `rp_levelcode_95938`) VALUES ('871709c2-083c-e511-80c0-00155d0a6f23', '名稱', '31', '547', '776', '2015-12-07 00:00:00', '123.7890', '456.5678', '名稱', '4', 'e64c7c15-7ac9-406c-9969-d41aeebf3a09', 'a.aa.001.01')";
        $sqlite_db->exec($sql);
    }
    $sqlite_db->commit();
    echo time() - $start;

另外關於sqlite主鍵id的小技巧:

    在創建表的時候,可以不用指定主鍵,sqlite默認會有一個隱藏的rowid字段存在,只需要在select的時候在字段中將rowid as成一個字段名稱就可以使用了


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章