前些時候,同事在站點服務端使用SQlite存儲一些臨時數據,但是在多人併發的時候Sqlite會拋出異常:The database file is locked , database is locked,而且這個是在客戶生產環境下提示出來的,開發環境很難重現,同事實在沒轍,竟然想發動所有研發同事通過操作軟件重現問題,我只能呵呵了。既然是Sqlite的原因,直接寫個小程序測試下sqlite不就行了,而且就算重現了,難不成要改Sqlite源碼...
Sqlite的特點:
- 簡單(simple):SQLite是一個非常輕量級自包含(lightweight and self-contained)的DBMS:一個頭文件,一個動態庫文件,你就擁有了關係數據庫的所有功能了。簡單,是SQLite最明顯的哲學。它提供的API少而簡單。只需要一個DLL文件,你的程序馬上就擁有了一個功能強大的數據庫引擎,這是一件很美妙的事。
- 小巧(small):我用VS 2005在Windows下編譯的3.6.11,Release版爲368K,用時不到20秒——而編譯MySQL時,要花上幾分鐘。而當我插入10000條int數據時,內存開銷660K,磁盤開銷92K。
- 事務(transaction):事務是現代商業數據處理系統最基本的要求,而Access,不論是在可執行文件大小(看了一下Access2003的可執行文件大小爲6.32M,兩者不是一個量級),還是事務特性,都是不能和SQLite 相比的。
- 併發性(Concurrency):由於SQLite通過OS的文件鎖來實現庫級鎖,粒度很大,但是,它通過一些複雜特殊的處理(具體可以參見分析系列),儘量的提升了讀寫的併發度。如果你還有擔心,你可以看看這篇文章:http://www.dbanotes.net/database/sqlite_cms.html。
- SQL92:SQLite支持絕大部分的標準SQL語句,你只需要幾百K的空間,就可以換來需要上百兆的通用DBMS幾乎所有操作了。
- 方便(Convenience):如果你的程序要使用SQLite,只需要將拷貝你的程序目錄即可。
- 開源(Opensource):這是它最強大的地方。開源,意味着你可以品讀它的源碼,你可以隨時修改它,加入你自己的特性,而這一切完全免費的。開源,是一種精神
SQLite只支持庫級鎖,庫級鎖意味着什麼?——意味着同時只能允許一個寫操作,也就是說,即事務T1在A表插入一條數據,事務T2在B表中插入一條數據,這兩個操作不能同時進行,即使你的機器有100個CPU,也無法同時進行,而只能順序進行。表級都不能並行,更別說元組級了——這就是庫級鎖。但是,SQLite儘量延遲申請X鎖,直到數據塊真正寫盤時才申請X鎖,這是非常巧妙而有效的。
上面的介紹可以看出Sqlite其實是一個客戶端嵌入數據庫,在高併發的服務器上是無法適用的,同事百度後,發現連接串中加入 "Journal Mode=WAL;"可以緩解併發壓力,可是客戶生產環境仍然出現“database is locked”錯誤。
測試程序如下:
static void Main(string[] args)
{
for (int i = 0; i < 140; i++)
{
ParameterizedThreadStart pStart = new ParameterizedThreadStart(ClientTest.Excute);
Thread td = new Thread(pStart);
td.Start(1012 + i);
}
Console.Read();
}
class ClientTest
{
public static void Excute(Object id)
{
bool flag = true;
while (true)
{
if (flag)
{
string sql = "update asr_info set asr_check = 1 where id = '" + id.ToString() + "'";
Sqlite.ExecuteSql(sql);
flag = false;
}
else
{
string sql = "update asr_info set asr_check = 0 where id = '" + id.ToString() + "'";
Sqlite.ExecuteSql(sql);
flag = true;
}
}
}
}
測試發現,在i5 2.5Ghz 四核的機器上,跑了不到半分鐘,大概執行了500條Update語句,Sqlite就報錯,提示“ database is locked”,但是在差一點的機器上很難重現,這也就解釋了開發機上難重現而在客戶服務器上報錯的現象。
解決辦法:
private static readonly object obj = new object();
private static int ExecuteNonQuery(string StrSQL, CommandType CmdType, SQLiteParameter[] SQLiteParams)
{
SQLiteConnection SQLiteConn = new SQLiteConnection(strConn);
SQLiteCommand SQLiteCmd = SQLiteCommandConstructor(SQLiteConn, StrSQL, CmdType, SQLiteParams);
if (SQLiteConn.State != ConnectionState.Open)
{
SQLiteConn.Open();
}
Monitor.Enter(obj);
int result = SQLiteCmd.ExecuteNonQuery();
Monitor.Exit(obj);
//aaa++;
// Console.WriteLine(aaa);
SQLiteCmd.Dispose();
SQLiteConn.Close();
return result;
}
事實證明Sqlite不支持併發執行寫入操作,即使是不同的表,只支持庫級鎖,而且這個Sqlite本身沒有實現,必須自己實現這個庫級鎖。