集算器協助MongoDB計算之交叉彙總

   MongoDB實現交叉彙總比較困難,如果將數據取出,用Java等高級語言來彙總的話,也相當複雜。因此,可以考慮用esProc輔助MongoDB完成交叉彙總。下面我們通過一個例子來看一下具體做法。

    Student集合如下:
    db.student.insert ( {school:’school1′, sname : ‘Sean’ , sub1: 4, sub2 :5 })
    db.student.insert ( {school:’school1′, sname : ‘chris’ , sub1: 4, sub2 :3 })
    db.student.insert ( {school:’school1′, sname : ‘becky’ , sub1: 5, sub2 :4 })
    db.student.insert ( {school:’school1′, sname : ‘sam’ , sub1: 5, sub2 :4 })
    db.student.insert ( {school:’school2′, sname : ‘dustin’ , sub1: 2, sub2 :2 })
    db.student.insert ( {school:’school2′, sname : ‘greg’ , sub1: 3, sub2 :4 })
    db.student.insert ( {school:’school2′, sname : ‘peter’ , sub1: 5, sub2 :1 })
    db.student.insert ( {school:’school2′, sname : ‘brad’ , sub1: 2, sub2 :2 })
    db.student.insert ( {school:’school2′, sname : ‘liz’ , sub1: 3, sub2 :null })

   希望能夠統計出如下的交叉表:每行一個學校,第一列是sub1成績爲5的人數,第二例是sub1成績爲4的人數,以此類推。


   集算器的腳本如下:


   A1: 連接MongoDB數據庫,ip和端口號是localhost:27017,數據庫是test,用戶名和密碼都是test。

   A2: 使用find函數從MongoDB中取出集合student,形成遊標。esProc在find函數中採用了和mongdb的find語句一樣的參數格式。esProc的遊標是分批讀取和處理數據,可以避免數據量過大,內存出現溢出的情況。這裏數據量不大,所以用fetch函數一次取出。

   A3:首先按照學校分組。

   A4:學校分組之後,每組內部按照[1,2,3,4,5]的序列對齊分組,再求每一個對齊分組的長度。

   A5:對A4的長度數按照需求放入相應的位置,生成結果排列。

   結果如下:


   需要說明的是:esProc並不包含MongoDB的java驅動包。用esProc來訪問MongoDB,必須提前將MongoDB的java驅動包(要求2.12.2或以上版,如mongo-java-driver-2.12.2.jar)放到[esProc安裝目錄]\common\jdbc中。

   esProc協助MongoDB計算的腳本很容易集成到java中,只要增加一行,寫成result A5即可向java輸出resultset形式的結果,具體的代碼參考esProc教程。同樣,用java調用esProc訪問MongoDB也必須將mongdb的java驅動包放到java程序的classpath中。


發表評論
所有評論
還沒有人評論,想成為第一個評論的人麼? 請在上方評論欄輸入並且點擊發布.
相關文章