原创 在主表中動態插入子表字段

   庫表dColThread是主表,主鍵是tID。dColQuestion是子表,外鍵是tID,如下:   dColThread:      dColQuestion;      報表需要根據ApplicationName查詢主表並以

原创 集算器解析動態JSON入庫

  來源:http://bbs.csdn.net/topics/390611005 。   系統採集的JSON格式數據(s.json)如下:   {     “SUCCESS”: [         {             "MES

原创 結果集複用來提升報表性能

         報表項目中,如果一個報表有多個sql數據集,可能會出現其中兩個或者幾個數據集很相似的情況。如果相似數據集的結果可以複用,就能有效的提高性能。但是,sql數據集的結果是沒有辦法複用的。例如下面這個“銷售排名、分佈報表”(

原创 文件計算的並行查找與過濾

   潤乾集算器具備文件計算能力。對於數據量相對較大的情況,集算器提供了多線程並行的功能,可以充分利用計算機的多CPU多核的計算能力,獲得接近或超過傳統數據庫的計算性能。   這裏只考慮小結果集的情況,即數據計算結果在內存可以裝下的情況

原创 桌面端數據分析程序語言

  桌面端數據分析程序語言,其重點是使用方便且計算能力強。考察某種語言是否適合進行桌面端數據分析,可以用六個指標來衡量:應用環境、文件處理、文本和字符串處理、結構化數據處理、模型預測算法、其他非重點指標。     一、應用環境   進行

原创 不規則跨行計算報表

   使用Jasper或BIRT等報表工具時,常會碰到一些非常規的統計,用報表工具本身或SQL都難以處理,比如源數據中有條特殊數據,其他數據都要和它進行佔比、求和等計算。集算器具有結構化強計算引擎,集成簡單,可以協助報表工具方便地實現此

原创 用Jasper report實現MongoDB join

   多樣性數據源是報表開發的常見問題,但用JasperReport等報表工具本身難以處理,比如展現兩個MongoDB collection連接的結果。雖然Jasper Report有virtual data source或table

原创 多數據源主子報表的處理(Jasper爲例)

   主報表和子報表(或Table表)使用不同的數據庫時。JasperReport/Birt等報表工具從功能上可以處理,但在子報表中無法直接使用數據源名,需要使用顯式的數據庫賬號、口令。可以看到這種方式存在一定的安全隱患,而且實施過程比

原创 在外存中實現分組的代碼示例

   在數據分析中,我們經常需要將數據分組,然後計算出各組的彙總值,或者在各組中分別計算。集算器中,可以用groups函數計算數據的分組彙總結果,更可以用group函數將表中記錄分成多組,以便後續計算。但是,如果需要排序的數據量巨大,情

原创 集算器輔助報表工具的應用過程

   集算器具有豐富的(半)結構化計算函數,支持動態解析表達式,支持多樣性數據源。報表工具可將集算器腳本文件當做數據庫存儲過程執行,傳入參數並用JDBC獲得返回結果。   集算器與報表工具的集成結構如下:   下面舉例說明報表集成集算器

原创 集算器實現外存排序的代碼示例

在數據分析計算中,將表中的記錄排序,是很常見的需求。集算器中,可以用sort函數爲序列或者序表中的數據排序。如果需要排序的數據量巨大,就不能一次將它們讀入內存,這樣普通的排序方法就無法執行了,此時需要使用外存排序。   如,文本文件Or

原创 MongoDB的本地化排序

   對於本地化語言(例如:中文),mongodb是按照UNICODE編碼排序,而不是根據本地語言的編碼排序。用esProc集算器結合mongodb可以方便的實現本地化語言的排序(例如:中文按照拼音排序)。下面我們以中文爲例,來看一下具

原创 集算器協助Java處理JSON

   json是半結構化數據,JAVA只能簡單解析,很難進行深度計算。集算器支持集合運算、有序計算、動態腳本執行,可降低json的計算難度。集算器還提供了簡單易用的JDBC接口,JAVA可將集算器腳本文件當做數據庫存儲過程執行,傳入參數

原创 將MongoDB導出成csv文件

   來源:https://plus.google.com/+VicNgrail/posts/ebS9JUtFopw。   Mongodb可以存儲非結構化數據,要將這些數據導出爲標準的結構化數據會存在一定的困難。用集算器結合MongoD

原创 如何做MongoDB的數組中查下標

   MongoDB可以按照下標查出內嵌數組的元素,但是不能通過元素的值來查詢下標。例如:數組中的元素是按照排名的先後順序存放的人員姓名,MongoDB可以根據排名(數組下標)來找姓名,但是不能通過姓名查找排名(數組下標)數值。esPr