Hibernate 批量插入、更新與刪除



批量插入在項目的開發過程之中，由於項目需求，我們常常需要把大批量的數據插入到數據庫。數量級有萬級、十萬級、百萬級、至千萬級別的。如此數量級別的數據用Hibernate做插入操作，就可能會發生異常，常見的異常是OutOfMemoryError（內存溢出異常）。???首先，我們簡單來回顧一下Hibernate插入操作的機制。Hibernate要對它內部緩存進行維護，當我們執行插入操作時，就會把要操作的對象全部放到自身的內部緩存來進行管理。???談到Hibernate的緩存，Hibernate有內部緩存與二級緩存之說。由於Hibernate對這兩種緩存有着不同的管理機制，對於二級緩存，我們可以對它的大小進行相關配置,而對於內部緩存，Hibernate就採取了“放任自流”的態度了，對它的容量並沒有限制。現在癥結找到了，我們做海量數據插入的時候，生成這麼多的對象就會被納入內部緩存（內部緩存是在內存中做緩存的），這樣你的系統內存就會一點一點的被蠶食，如果最後系統被擠“炸”了，也就在情理之中了.我們想想如何較好的處理這個問題呢？有的開發條件又必須使用Hibernate來處理，當然有的項目比較靈活，可以去尋求其他的方法。筆者在這裏推薦兩種方法：
(1)：優化Hibernate,程序上採用分段插入及時清除緩存的方法。
(2)：繞過Hibernate API ，直接通過 JDBC API 來做批量插入，這個方法性能上是最好的，也是最快的。
對於上述中的方法1，其基本是思路爲：優化Hibernate，在配置文件中設置hibernate.jdbc.batch_size參數，來指定每次提交SQL的數量；程序上採用分段插入及時清除緩存的方法(Session實現了異步write-behind，它允許Hibernate顯式地寫操作的批處理),也就是每插入一定量的數據後及時的把它們從內部緩存中清除掉，釋放佔用的內存。
設置hibernate.jdbc.batch_size參數，可參考如下配置。

<hibernate-configuration>
<session-factory>
.........
<propertyname=” hibernate.jdbc.batch_size”>50</property>
.........
<session-factory>
<hibernate-configuration>

配置hibernate.jdbc.batch_size參數的原因就是儘量少讀數據庫，hibernate.jdbc.batch_size參數值越大，讀數據庫的次數越少，速度越快。從上面的配置可以看出，Hibernate是等到程序積累到了50個SQL之後再批量提交。筆者也在想，hibernate.jdbc.batch_size參數值也可能不是設置得越大越好，從性能角度上講還有待商榷。這要考慮實際情況，酌情設置，一般情形設置30、50就可以滿足需求了。
程序實現方面，筆者以插入10000條數據爲例子，如

Session session=HibernateUtil.currentSession();
Transatcion tx=session.beginTransaction();
for(inti=0;i<10000;i++)??? Studentst=new Student();
st.setName(“feifei”);
session.save(st);

// 以每50個數據作爲一個處理單元
if(i%50==0)??
{
//只是將Hibernate緩存中的數據提交到數據庫，保持與數據庫數據的同步

session.flush();??

//?清除內部緩存的全部數據，及時釋放出佔用的內存
session.clear();??
}
}
tx.commit();
.........

在一定的數據規模下，這種做法可以把系統內存資源維持在一個相對穩定的範圍。???注意：前面提到二級緩存，筆者在這裏有必要再提一下。如果啓用了二級緩存，從機制上講Hibernate爲了維護二級緩存，我們在做插入、更新、刪除操作時，Hibernate都會往二級緩存充入相應的數據。性能上就會有很大損失，所以筆者建議在批處理情況下禁用二級緩存。???對於方法2，採用傳統的JDBC的批處理，使用JDBC API來處理。

些方法請參照java批處理自執行SQL

看看上面的代碼，是不是總覺得有不妥的地方？對，沒發現麼！這還是JDBC的傳統編程，沒有一點Hibernate味道。
可以對以上的代碼修改成下面這樣：

Transaction tx=session.beginTransaction(); //使用Hibernate事務處理
邊界Connection conn=session.connection();
PrepareStatement stmt=conn.prepareStatement(“insert into T_STUDENT(name)values(?)”);
for(intj=0;j++;j<200)...{
for(inti=0;i++;j<50)stmt.setString(1,”feifei”);
}
}
stmt.executeUpdate();
tx.commit(); //使用Hibernate事務處理邊界
.........

這樣改動就很有Hibernate的味道了。筆者經過測試，採用JDBC API來做批量處理，性能上比使用HibernateAPI要高將近10倍，性能上JDBC 佔優這是無疑的。

批量更新與刪除???Hibernate2中，對於批量更新操作，Hibernate是將符合要求的數據查出來，然後再做更新操作。批量刪除也是這樣，先把符合條件的數據查出來，然後再做刪除操作。???(1)：佔用大量的內存。
(2)：處理海量數據的時候，執行update/delete語句就是海量了，而且一條update/delete語句只能操作一個對象，這樣頻繁的操作數據庫，性能低下應該是可想而知的了。
Hibernate3 發佈後，對批量更新/刪除操作引入了bulkupdate/delete，其原理就是通過一條HQL語句完成批量更新/刪除操作，很類似JDBC的批量更新/刪除操作。在性能上，比Hibernate2的批量更新/刪除有很大的提升。

Transaction tx=session.beginSession();
String HQL=”delete STUDENT”;
Query query=session.createQuery(HQL);
int size=query.executeUpdate();
tx.commit();
.......

控制檯輸出了也就一條刪除語句Hibernate:delete fromT_STUDENT,語句執行少了，性能上也與使用JDBC相差無幾，是一個提升性能很好的方法。當然爲了有更好的性能，筆者建議批量更新與刪除操作還是使用JDBC，方法以及基本的知識點與上面的批量插入方法2基本相同，這裏就不在冗述。???筆者這裏再提供一個方法，就是從數據庫端來考慮提升性能，在Hibernate程序端調用存儲過程。存儲過程在數據庫端運行，速度更快。以批量更新爲例，給出參考代碼。
首先在數據庫端建立名爲batchUpdateStudent存儲過程:

createor replace produre batchUpdateStudent(a in number) as
begin
update STUDENT set AGE=AGE+1where AGE>a;
end;Transaction tx=session.beginSession();
Connection conn=session.connection();
String pd=”...{callbatchUpdateStudent(?)}”;
CallableStatement cstmt=conn.PrepareCall(pd);
cstmt.setInt(1,20);//把年齡這個參數設爲20
tx.commit()；觀察上面的代碼，也是繞過Hibernate API,使用 JDBCAPI來調用存儲過程，使用的還是Hibernate的事務邊界。存儲過程無疑是提高批量處理性能的一個好方法，直接運行與數據庫端，某種程度上講把批處理的壓力轉接給了數據庫。

 三：編後語
本文探討了Hibernate的批處理操作，出發點都是在提高性能上考慮了，也只是提供了提升性能的一個小方面。
不管採取什麼樣的方法，來提升性能都要根據實際的情況來考慮，爲用戶提供一個滿足需求的而且高效穩定的系統纔是重中之中。

原文鏈接：http://hi.baidu.com/liuhongsen/item/803b8535ddce6f4f3075a180