程序員必須練就的「性能調優」組合拳【4】

本系列前序文章索引

  • 程序員必須掌握的性能調優:老兵哥結合個人經歷解釋了程序員往架構師方向發展時爲什麼要跨越性能調優這一關,以及介紹了從 X、Y、Z 三個維度優化性能的思路。
  • 從 X 維度優化系統的性能:老兵哥分享了從 X 維度優化系統性能的思路,包括讓客戶端分計算存儲任務、優化交互設計等,主要是作爲引子拓寬我們性能調優的思路。
  • 應用容器 Tomcat 性能調優:老兵哥介紹了從 Y 維度通過優化應用容器(Tomcat)來優化系統性能的方法。
  • 開發框架 Spring 性能調優:老兵哥介紹了從 Y 維度通過優化開發框架(Spring)來優化系統性能的方法。

今天老兵哥將介紹通過優化對象關係映射 ORM 框架(Hibernate)等來優化系統性能的方法。

4. ORM 框架 Hibernate

對象-關係映射 ORM(Object/Relation Mapping),是伴隨着面向對象軟件開發方法的發展而產生的。面向對象的開發方法是當今企業級應用開發環境中的主流方法,關係數據庫是企業級應用環境中數據永久存儲的主流數據存儲系統。對象和關係是業務實體數據的兩種表現形式,業務實體在內存中表現爲對象,在數據庫中表現爲關係數據。內存中的對象之間存在關聯和繼承關係,而在數據庫中,關係數據無法直接表達多對多關聯和繼承關係。

對象-關係映射 ORM 系統通常以中間件的形式存在,藉助描述對象到關係數據庫數據的映射元數據,將內存中的對象自動持久化到關係數據庫中,其本質就是將數據從一種形式轉換到另外一種形式。這個轉換過程需要額外的開銷,自然也就存在許多優化的機會,接下來我們一起來看看如何提升 ORM 框架 Hibernate 的性能。
Hibernate 工作原理

4.1 批量處理

應用或者 ORM 框架每次執行 SQL 語句都需要跟數據庫建立連接,每次建立連接都需要額外開銷。如果某個事務內部有循環多次操作數據庫的場景,那麼將這些操作彙集在一起批量執行,這樣就可以降低損耗,具體如下:

  • 批量插入
    使用這種方法時,首先在 Hibernate 的配置文件 hibernate.cfg.xml 中設置批量尺寸屬性 hibernate.jdbc.batch_size ,且最好關閉Hibernate的二級緩存以提高效率。
<hibernate-configuration>
	<session-factory>
		<property name="hibernate.jdbc.batch_size">50</property> //設置尺寸
		<property name="hibernate.cache.use_second_level_cache">false</property> //關閉緩存
		<mapping resource="com/itlaobingge/po/User.hbm.xml" /> 
   </session-factory>
</hibernate-configuration>
public class HibernateDemo {
	public static void main(String args[]) {
		Session session = HibernateSessionFactory.getSession();
		Transaction ts = session.beginTransaction();
		for (int i = 0; i < 50; i++) {
			User user = new User();
			user.setPassword(i);
			session.save(user);
			if (i%50 == 0) {
			   // 以 50 爲一個批次往數據庫提交,此值應與配置的批量尺寸一致
				session.flush();
				// 清空緩存區,釋放內存供下批數據使用
				session.clear();  
			}
		}
		
		ts.commit();
		HibernateSessionFactory.closeSession();
	}
}
  • 批量更新
    爲了使 Hibernate 的 HQL 直接支持 update 的批量更新語法,我們需要在 Hibernate 的配置文件 hibernate.cfg.xml 中設置 HQL/SQL 查詢翻譯器屬性 “hibernate.query.factory_class”:
<hibernate-configuration>
   ......
   <property name="hibernate.query.factory_class">
		org.hibernate.hql.internal.ast.ASTQueryTranslatorFactory
	</property>
	<mapping resource="com/itlaobingge/po/User.hbm.xml" />
   </session-factory>
</hibernate-configuration>
public class HibernateDemo {
	public static void main(String args[]) {
		Session session = HibernateSessionFactory.getSession();
		Transaction ts = session.beginTransaction();
		Query query = session.createQuery("update User set password='123456'");
		query.executeUpdate();
		ts.commit();
		HibernateSessionFactory.closeSession();
	}
}
  • 批量刪除
    爲了使 Hibernate 的 HQL 直接支持 delete 的批量更新語法,我們需要在 Hibernate 的配置文件 hibernate.cfg.xml 中設置 HQL/SQL 查詢翻譯器屬性 “hibernate.query.factory_class”:
<hibernate-configuration>
   ......
   <property name="hibernate.query.factory_class">
		org.hibernate.hql.internal.ast.ASTQueryTranslatorFactory
	</property>
	<mapping resource="com/itlaobingge/po/User.hbm.xml" />
   </session-factory>
</hibernate-configuration>
public class HibernateDemo {
	public static void main(String args[]) {
		Session session = HibernateSessionFactory.getSession();
		Transaction ts = session.beginTransaction();
		Query query=session.createQuery("delete User where id < 123");
		query.executeUpdate();
		ts.commit();
		HibernateSessionFactory.closeSession();
	}
}

4.2 抓取策略

抓取策略是指當應用程序需要在對象關聯關係間進行導航時,Hibernate 如何獲取關聯對象的策略,常見的抓取策略有如下幾種:

  • 鏈接抓取(Join Fetching):通過在 select 語句中使用 out join 來獲取對象的關聯實例或者關聯集合。
  • 查詢抓取(Select Fetching):發送另外一條 select 語句抓取當前對象的關聯實體或者關聯集合。除非我們顯示地指定 lazy=”false” 禁止延遲抓取,否則只有當我們真正訪問了關聯關係時纔會執行第二條 select 語句。
  • 子查詢抓取:另外發送一條 select 語句抓取在前面查詢到或抓取到的所有實體對象的關聯集合。除非你顯式的指定 lazy=“false” 禁止延遲抓取,否則只有當你真正訪問關聯關係的時候,纔會執行第二條 select 語句。
  • 批量抓取(Batch fetching):對查詢抓取的優化方案,通過指定一個主鍵或外鍵列表,Hibernate 使用單條 select 語句獲取一批對象實例或集合。

Hibernate 會區分下列幾種情況:

  • 立即抓取(Immediate fetching):當宿主被加載時,關聯、集合或屬性被立即抓取。
  • 延遲集合抓取(Lazy collectionfetching):直到應用程序對集合進行了一次操作時,集合才被抓取。
  • Extra-lazy 集合抓取(Extra-lazy collection fetching):對集合類中的每個元素而言,都是直到需要時纔去訪問數據庫。除非絕對必要,Hibernate 不會試圖去把整個集合都抓取到內存裏來。
  • 代理抓取(Proxy fetching):對返回單值的關聯而言,當其某個方法被調用,而非對其關鍵字進行 get 操作時才抓取。
  • 非代理抓取(No-proxy fetching):對返回單值的關聯而言,當實例變量被訪問的時候進行抓取。與上面的代理抓取相比,這種方法沒有那麼延遲得厲害,就算只訪問標識符,也會導致關聯抓取,但是更加透明,因爲對應用程序來說,不再看到 proxy。這種方法需要在編譯期間進行字節碼增強操作,因此很少需要用到。
  • 屬性延遲加載(Lazy-attribute fetching):對屬性或返回單值的關聯而言,當其實例變量被訪問的時候進行抓取。需要編譯期字節碼強化,因此這一方法很少是必要的。

定製合理的抓取策略對系統的性能提升有很大的幫助。查詢抓取在 N+1 查詢的情況下是極其脆弱的,因此我們可能會要求在映射文件中定義連接抓取(fetch=”join”),但是在映射文件中定義的抓取策略將會產生以下影響:通過 get() 或者 load() 方法獲取數據,只有在關聯之間進行導航時,纔會隱式的取得數據。

條件查詢,使用了 subselect 抓取的 HQL 查詢,不管使用哪種抓取策略,定義爲非延時的類圖會保證裝載入內存,這就意味着一條 HQL 查詢後緊跟着一系列的查詢。通常我們並不使用映射文件進行抓取策略的定製,更多是保持其默認值然後在待定事務中適用 HQL 的左連接對其進行重載。

Hibernate 推薦的做法也是最佳實踐:把所有對象關聯的抓取都設爲 lazy,然後在特定事務中進行重載。這種考慮是基於對象之間的關聯關係錯綜複雜,有時候哪怕我們只是一個簡單的查詢,也會導致很多關聯對象被裝載出來,所以在 Hibernate 中,所有對象關聯都是 lazy 的。

在 Hibernate 中實施關聯抓取,我們可以定義每次抓取數據的數量,批量地將數據載入內存,減少與數據庫交互的次數,在應用程序中可以定義默認的關聯抓取數量。Hibernate 提供了兩種批量抓取方案:

  • 類級別的批量查詢,如果一個 Session 中需要載入 30 個 User 實例,在 User 中擁有一個類 Class 成員變量 class。如果 lazy=“true”,我們需要遍歷整個 user 集合,每一個 user 都需要 getClass(),在默認情況下要執行 30 次查詢得到 Class 對象。因此,可以通過在映射文件的 Class 屬性設置 batch-size,這樣Hibernate 只需要執行兩次查詢即可:
<class name=”Class” batch-size=”15”>...</class>
  • 集合級別的批量查詢,如果我們需要遍歷 30 個 Class 對象下所擁有 User 對象列表,在 Session 中需要載入 30 個 Class 對象,遍歷 Class 集合將會引起 30 次查詢,每次查詢都會調用 getUsers()。如果在 Class 的映射定義中,允許對 User 進行批量抓取,則 Hibernate 就會預先加載整個集合。
<set name=”users” batch-size=”15”>...</set>  

4.3 二級緩存

緩存可以降低應用程序對物理數據源訪問的頻次,從而提高應用程序的運行性能。緩存對 Hibernate 來說也是很重要的,它使用瞭如下圖所示的多級緩存方案:
Hibernate 二級緩存

  • 一級緩存,第一級緩存是 Session 緩存,屬於強制性緩存,所有請求都必須通過它。Session 對象在它自己的權利之下,在將它提交給數據庫之前保存一個對象。如果你對一個對象發出多個更新,Hibernate 會嘗試儘可能長地延遲更新來減少發出的 SQL 更新語句的數目。如果你關閉 Session,所有緩存的對象丟失,或是存留,或是在數據庫中被更新。
  • 二級緩存,第二級緩存是可選擇的,第一級緩存在任何想要在第二級緩存中找到一個對象前被詢問。第二級緩存可以在每一個類和每一個集合的基礎上被安裝,並且它主要負責跨會話緩存對象。任何第三方緩存都可以和 Hibernate 合作,只要它實現 org.hibernate.cache.CacheProvider 接口。

Hibernate 的二級緩存通過兩個步驟設置:第一,你必須決定好使用哪個併發策略(Transactional、Read-write、Nonstrict-read-write、Read-only);第二,你使用第三方緩存提供者來配置緩存到期時間和物理緩存屬性。併發策略,負責保存緩存中的數據項和從緩存中檢索它們,如何選擇併發策略及配置可以查資料。

4.4 查詢緩存

查詢結果集也可以被緩存,只有在經常使用同樣的參數進行查詢時,查詢緩存纔會有些用處。如果要使用查詢緩存,你必須打開它:hibernate.cache.use_query_cache,該設置將會創建兩個緩存區域:一個用於保存查詢結果集(org.hibernate.cache.StandardQueryCache);另一個則用於保存最近查詢的一系列表的時間戳(org.hibernate.cache.UpdateTimestampsCache)。

在查詢緩存中,它並不緩存結果集中所包含的實體的確切狀態,它只緩存這些實體的標識符屬性的值、以及各值類型的結果,所以查詢緩存通常會和二級緩存一起使用。絕大多數的查詢並不能從查詢緩存中受益,所以 Hibernate 默認是不進行查詢緩存的。如若需要進行緩存,請調用 Query.setCacheable(true) 方法。這個調用會讓查詢在執行過程中時先從緩存中查找結果,並將自己的結果集放到緩存中去。

關注「 IT老兵哥 」,賦能程序人生!點擊查看:IT老兵哥 2019 全年熱評博文合集

在這裏插入圖片描述

近期熱評系列《 程序員必須懂的架構師入門課 》:

  1. 程序員爲什麼必須要懂架構?
  2. 架構到底是什麼,你知道嗎?
  3. 架構都有哪些,我該怎麼選?
  4. 架構師都幹什麼,你知道嗎?
  5. 練就哪些技能才勝任架構師?
  6. 怎樣才能搞定上下游的客戶?
  7. 如何從開發崗轉型做架構師?
發佈了49 篇原創文章 · 獲贊 59 · 訪問量 2萬+
發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章