Hibernate 的批量處理

        很多人都對Java在批量數據的處理方面是否是其合適的場所持有懷疑的念頭,由此延伸,那麼就會認爲ORM可能也不是特別適合數據的批量處理。 其實,我想如果我們應用得當的話,完全可以消除ORM批量處理性能問題這方面的顧慮。下面以Hibernate爲例來做爲說明,假如我們真的不得不在Java中使用Hibernate來對數據進行批量處理的話。 向數據庫插入100 000條數據,用Hibernate可能像這樣:
      Session session = sessionFactory.openSession();
      Transaction tx = session.beginTransaction();
      for ( int i=0; i<100000; i++ ) {
      Customer customer = new Customer(.....); 
      session.save(customer); }
      tx.commit();
      session.close();
        大概在運行到第50 000條的時候,就會出現內存溢出而失敗。這是Hibernate把最近插入的Customer都以session-level cache在內存做緩存,我們不要忘記Hiberante並沒有限制first-level cache 的緩存大小: 
  # 持久對象實例被管理在事務結束時,此時Hibernate與數據庫同步任何已經發生
    變 化的被管理的的對象。
  #在單個持續內容範圍內,持久層特性與JAVA特性是相同的(這有助於你除去那
     些有混淆影響的數據)
  # Session實現了異步write-behind,它允許Hibernate顯式地寫操作的批處理。
  這裏,我給出Hibernate如何實現批量插入的方法: 
         首先,我們設置一個合理的JDBC批處理大小,hibernate.jdbc.batch_size 20。 然後在一定間隔對Session進行flush()和clear()。
      Session session = sessionFactory.openSession();
      Transaction tx = session.beginTransaction();
      for ( int i=0; i<100000; i++ ) {
      Customer customer = new Customer(.....);
      session.save(customer);
      if ( i % 20 == 0 ) {
     //flush 插入數據和釋放內存:
      session.flush(); session.clear(); }
      }
      tx.commit();
      session.close();
         那麼,關於怎樣刪除和更新數據呢?那好,在Hibernate2.1.6或者更後版本,scroll() 這個方法將是最好的途徑:
    Session session = sessionFactory.openSession();
    Transaction tx = session.beginTransaction();
    ScrollableResults customers = session.getNamedQuery("GetCustomers")
                                                                .scroll(ScrollMode.FORWARD_ONLY);
    int count=0;
    while ( customers.next() ) {
    Customer customer = (Customer) customers.get(0);
    customer.updateStuff(...);
    if ( ++count % 20 == 0 ) {
       //flush 更新數據和釋放內存:
        session.flush(); session.clear(); } }
    tx.commit(); session.close();
        這種做法並不困難,也不算不優雅。請注意,如果Customer啓用了second-level caching ,我們仍然會有一些內存管理的問題。原因就是對於用戶的每一次插入和更新,Hibernate在事務處理結束後不得不通告second-level cache 。因此,我們在批處理情況下將要禁用用戶使用緩存。
發佈了38 篇原創文章 · 獲贊 0 · 訪問量 6萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章