Sqlite 插入數據慢解決方法

sqlite 插入數據很慢的原因是因爲它是已文件的形式存在磁盤中，每次訪問時都要打開一次文件，如果對數據進行大量的操作，那時很慢。

 

解決方法是用事務的形式提交：因爲我們開始事務後，進行的大量操作的語句都保存在內存中，當提交時才全部寫入數據庫，此時，數據庫文件也就只用打開一次。

 

我在沒有用事務形式插入4366條數據時用了507.781s，平均每一插入一條數據是116ms,用事務形式，插入只用了391ms，相關很大吧。

 

事務方式：

 

begin; INSERT INTO "table" VALUES ('a', 'b', 'c'); INSERT INTO "table" VALUES ('a', 'b', 'c'); INSERT INTO "table" VALUES ('a', 'b', 'c'); commit;

 

順帶一點在sqlite裏的單引號轉義不是用反斜槓'/'而是用單引號，就是在單引號前再加一個單引號（''）.

 

下面是寫的一個統計apache的腳本，apache日誌按日期分目錄，在日期目錄下按每小時分文件，日誌數據源：

124.115.0.27 - - [25/02/2011:23:00:01] "GET /images/css.css HTTP/1.1" 200 3487 "http://www.XXXX.com/index.php?categoryid=175" "Sosospider+(+http://help.soso.com/webspider.htm)"

221.130.177.108 - - [25/02/2011:22:59:53] "GET /index.php?newsid=2010122810463740 HTTP/1.1" 200 5079 "-" "-"

腳本如下：

<?php /** * apache訪問日誌記錄轉換爲SQLite庫 * * 只保留IP，時間，session id * 注意: 執行程序與日誌數據放在同一目錄下，sqlite數據保存在ipdb目錄下，以免找不到數據源 * */ $rootPath = __DIR__; //轉換數據目錄 $dirPath = $rootPath . '/'; //SQLite 數據庫目錄 $ipdbPath = $rootPath . '/ipdb'; $db = null; $fileArr = dirList($dirPath); foreach ($fileArr as $file){ $dbPath = str_replace($dirPath, $ipdbPath, $file); $dbPath = substr($dbPath, 0, -7) . '.db'; if (!file_exists($dbPath)){ if (FALSE === ($fp = fopen($dbPath, 'w'))){ exit("open file {$dbPath} fail!/n"); } fclose($fp); if (!is_null($db)){ $db = null;} $db = new PDO('sqlite:'.$dbPath); //$table = substr($file, -6, 2); $table = 'log'; // $sql = "DROP TABLE IF EXISTS '{$table}'; $sql = "CREATE TABLE '{$table}' ( 'ip' TEXT, 'start_time' TEXT, 'ucode' TEXT ); CREATE INDEX 'start_time' ON '{$table}' ('start_time' ASC); "; $db->exec($sql); }else{ if (is_null($db)){ $db = new PDO('sqlite:'.$dbPath);} } //插入文件夾記錄 if (FALSE !== ($fp = fopen($file, 'r'))){ $i = 0; $db->beginTransaction(); while (!feof($fp)){ $buffer = fgets($fp, 1024); $ip = trim(substr($buffer, 0, strpos($buffer, '-'))); $start_time = substr($buffer, strpos($buffer, '[')+1, 19); if (FALSE === (strpos($buffer, ' /')) && empty($ip)) continue; $ucode = substr($buffer, strpos($buffer, ' /')+2, 32); $sql = "INSERT INTO 'log' ('ip', 'start_time', 'ucode') VALUES ('{$ip}', '{$start_time}', '{$ucode}')"; $db->exec($sql); //if (0 == ($i++ % 100)) echo '*'; } $db->commit(); fclose($fp); } } function dirList ($path) { $dir = dir($path); static $fileArr = array(); while(($file = $dir->read()) !== FALSE){ if (is_dir("{$path}/{$file}") && $file != '.' && $file != '..'){ dirList("{$path}/{$file}"); }else{ if ($file != '.' && $file != '..'){ $fileArr[] = $path . '/' . $file ; } } } $dir->close(); return $fileArr; } ?>