文件计算的并行查找与过滤

   润干集算器具备文件计算能力。对于数据量相对较大的情况,集算器提供了多线程并行的功能,可以充分利用计算机的多CPU多核的计算能力,获得接近或超过传统数据库的计算性能。

  这里只考虑小结果集的情况,即数据计算结果在内存可以装下的情况。

  集算器多线程并行结构示意图如下:



 

  如上图所示,集算器通过一个主脚本将任务分配给多个子脚本,每个子脚本分别访问本地数据的一部分进行计算。子脚本都完成计算后,将结果返回给主脚本,完成计算后提交给宿主程序(如报表工具)。

  每个子脚本就是一个线程。理论上说服务器对多线程并行任务的支持取决于CPU核数和硬盘并行性能。服务器的CPU核数越多、硬盘的并行读取能力越强,可以同时运行的线程数越多,总任务完成的越快。因此,多线程并行任务功能可以充分发挥计算机的计算能力。

  用多线程实现查找过滤的思路是:采用多线程方式,每个线程处理一部分数据的检索,最后将每一部分检索的结果合并。这里通过一个例子来看一下具体做法。考虑到大数据一般都存储在文件中,这里也以Orders.txt文件为例,数据如下:

   ORDERID CLIENT     SELLERID AMOUNT ORDERDATE NOTE

   1    287    47    5825     2013-05-31       gafcaghafdgie f ci…

   2    89    22    8681     2013-05-04       gafcaghafdgie f ci…

   3    47    67    7702     2009-11-22       gafcaghafdgie f ci…

   4    76    85    8717     2011-12-13       gafcaghafdgie f ci…

   5    307    81    8003     2008-06-01       gafcaghafdgie f ci…

   6    366   39     6948     2009-09-25       gafcaghafdgie f ci…

   7    295   8     1419     2013-11-11       gafcaghafdgie f ci…

   8    496   35     6018     2011-02-18       gafcaghafdgie f ci…

   9    273   37     9255     2011-05-04       gafcaghafdgie f ci…

   10    212   0     2155     2009-03-22       gafcaghafdgie f ci…

   …

  数据中note字段是为了增加每条记录的长度设置的字段,没有实际意义。

  需要按照条件“sellerid=1并且client=50并且orderdate在2013之后”检索过滤后提交给外部Java程序。

  由于Orders.txt的数据量较大,所以分成若干段并行处理。首先,要使用集算器来编写脚本select.dfx,实现多线程并行检索,具体脚本如下:



 

   A1:并行线程数为4。

  A2:通过fork关键字,使用多线程执行B2到B4的代码,线程数是4,每个线程读取到的A2值分别是1、2、3、4。

  B2:利用游标cursor函数,将文件大致分成4组,取其中第A2组的游标(只取需要的字段)。

  B3:对游标进行过滤。

  B4:返回本线程的过滤结果B4。

  A5:在主线程中把四个线程的返回结果合并。

  A6:向外部程序返回最终结果。

  集算器脚本完成之后保存为selec.dfx,在外部程序中通过集算器JDBC调用select.dfx的方法参见集算器的教程。

  如果提前将文本文件转换为集算器提供的二进制格式,性能会进一步提升。转换代码为:



 

   A1:新建一个文本文件的游标。

  A2:将文本文件的游标输出为二进制文件。

  将select.dfx修改如下:



 

   可以看到仅B2的cursor参数改为@bz,读取二进制文件,其他脚本没有变。

  在相同的硬件条件下,同样是3.4G数据,4线程并行,采用普通文本文件完成上述查找过滤需要24秒,采用二进制文件只需要4秒。

  采用集算器多线程查找过滤方案的性能测试数据,参见《集算器文件遍历计算的性能测试》。通过测试并与Oracle对比发现,当数据量小于可用内存时,Oracle的性能较好。数据量大于可用内存时,集算器性能常常会超出。

  上述方式是采用单机并行来提高计算性能。对于数据量更大的情况,也可以考虑采用集算服务器集群的方式,利用多机并行来进一步提升性能。

 

發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章