如何解決報表關聯計算中的性能問題

報表開發過程中經常要在報表中完成數據關聯計算,有時爲了降低報表製作複雜度,會將關聯關係放到可視的報表模板中完成;而有時則必須在報表中完成關聯,如多數據源、異構數據源的情況。在報表中做關聯往往導致報表效率不高,計算過慢,從而引發性能問題。爲此,潤乾報表提供了高性能數據關聯方式(需要結合集算器實現),可以顯著提升報表的計算效率。這裏就通過一個常見的多源關聯分片報表實例來說明潤乾報表的實現過程:

報表說明
根據銷售情況等信息按照時間、地區、銷售人員、產品等維度彙總銷售額,報表樣式如下:

如何解決報表關聯計算中的性能問題

以下爲實現過程。

編寫計算腳本
首先使用集算器編寫腳本,完成數據關聯,併爲報表返回關聯後的結果集。

如何解決報表關聯計算中的性能問題
A1:連接數據源;

A2-A5:執行 sql,分別取訂單、產品等庫表數據;

A6-A8:使用 switch 將多表數據完成關聯,關聯結果存入 A2 格中;

A9:根據已關聯結果創建新序表,結果集通過 A10 返回報表。

編制報表
在潤乾報表設計器中新建報表模板後,數據集選擇“集算器”,在數據集編輯窗口指定上述編輯好的 dfx 文件,完成數據集創建。

編輯報表模板表達式:

如何解決報表關聯計算中的性能問題

不同於報表模板中的低效關聯,集算報表是事先在集算腳本中完成關聯,報表模板只需從結果集取數,從而獲得更高的性能。

爲了對照,我們再按照傳統的報表中實現關聯的方式做一下:

報表中實現關聯
數據集

ds1: SELECT 客戶. 地區, 客戶. 城市, 訂單明細. 數量, 訂單明細. 折扣, 訂單明細. 單價, 訂單. 僱員 ID, 訂單. 訂購日期, 訂單明細. 產品 ID FROM 訂單明細, 訂單, 客戶 WHERE 客戶. 客戶 ID = 訂單. 客戶 ID  AND  訂單. 訂單 ID = 訂單明細. 訂單 ID and 訂單. 訂購日期 is not null

ds2: SELECT 類別. 類別 ID, 類別. 類別名稱 FROM 類別

ds3: SELECT * from 僱員

ds4: SELECT 產品. 類別 ID, 產品. 產品 ID FROM 產品

報表模板

如何解決報表關聯計算中的性能問題

對比效果
本例的源表數據爲 40 多萬條,基於同樣的取數 sql,兩種關聯方式的運行時間如下表所示:
如何解決報表關聯計算中的性能問題

可以看到,潤乾報表在處理關聯計算類報表時有明顯的優勢。這是因爲在報表中實現關聯只能使用遍歷算法,針對單條主記錄去尋找關聯的子記錄,因此效率不高;而集算器採用了更高效的 hash 關聯方案,事先將所有子記錄按對應碼 hash 到主記錄上(代碼中的 switch 函數就利用了 hash 關聯技術),因而能獲得一倍以上的性能提升(如果只算關聯能快出 5-10 倍)。

此外,集算器也非常適合處理異構數據源的數據關聯,如常見的跨庫計算、文件和數據庫混合計算等情況。

下附運行日誌和測試機配置。

【附 1】運行日誌
報表中關聯
[2018-09-15 11:32:59] : [INFO]  - 開始運算報表,首先取數……

[2018-09-15 11:32:59] : [DEBUG]  - 下面開始打出 sql

[2018-09-15 11:32:59] : [DEBUG]  - ds1=SELECT 客戶. 地區, 客戶. 城市, 訂單明細. 數量, 訂單明細. 折扣, 訂單明細. 單價, 訂單. 僱員 ID, 訂單. 訂購日期, 訂單明細. 產品 ID FROM 訂單明細, 訂單, 客戶 WHERE 客戶. 客戶 ID = 訂單. 客戶 ID  AND  訂單. 訂單 ID = 訂單明細. 訂單 ID and 訂單. 訂購日期 is not null

[2018-09-15 11:33:35] : [DEBUG]  - 下面開始打出 sql

[2018-09-15 11:33:35] : [DEBUG]  - ds2=SELECT 類別. 類別 ID, 類別. 類別名稱 FROM 類別

[2018-09-15 11:33:35] : [DEBUG]  - 下面開始打出 sql

[2018-09-15 11:33:35] : [DEBUG]  - ds3=SELECT * from 僱員

[2018-09-15 11:33:35] : [DEBUG]  - 下面開始打出 sql

[2018-09-15 11:33:35] : [DEBUG]  - ds4=SELECT 產品. 類別 ID, 產品. 產品 ID FROM 產品

[2018-09-15 11:33:35] : [INFO]  - 取數結束, 開始運算

[2018-09-15 11:34:58] : [INFO]  - 計算結束:

dfx 中關聯
[2018-09-15 11:56:33] : [INFO]  - 開始運算報表,首先取數……

[2018-09-15 11:57:11] : [INFO]  - 取數結束, 開始運算

[2018-09-15 11:57:26] : [INFO]  - 計算結束:

【附 2】測試機配置
測試機型:Dell Inspiron 3420

CPU:Intel Core i5-3210M @2.50GHz *4

RAM:4G

HDD:西數 WDC(500G 5400 轉 / 分)

操作系統:Win7(X64) SP1

JDK:1.6

數據庫:oracle11g R2

潤乾報表版本:2018

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章